More Accurate or More Efficient? Evaluating Locally Deployed Compact Open-Weight Language Models for Mathematical Reasoning
Este artículo introduce un marco de evaluación controlado para modelos de lenguaje de pesos abiertos compactos desplegados localmente en el razonamiento matemático, demostrando que la precisión por sí sola es insuficiente para la selección de modelos al revelar compensaciones significativas donde Gemma3:4b ofrece una eficiencia energética superior a pesar de la mayor precisión de Qwen3:4b en conjuntos de datos específicos.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En los últimos años, las computadoras han aprendido a leer y escribir con una fluidez que parece casi humana. Estos sistemas, conocidos como modelos de lenguaje extensos, pueden resolver problemas, escribir historias y responder preguntas prediciendo la siguiente palabra en una oración basándose en patrones que aprendieron de vastas cantidades de texto. Durante mucho tiempo, la única forma de usar estas poderosas herramientas era enviar una pregunta a través de internet a una enorme granja de servidores propiedad de una empresa tecnológica. Pero una nueva tendencia está cambiando esta dinámica. Los investigadores y desarrolladores ahora son capaces de descargar versiones más pequeñas de estos modelos y ejecutarlos directamente en sus propias computadoras, de forma muy similar a instalar un programa de software estándar. Este cambio ofrece beneficios signific efectivos: sus datos permanecen privados en su máquina, no tiene que pagar por cada pregunta y puede usar la tecnología incluso sin una conexión a internet. Sin embargo, ejecutar estos programas de forma local conlleva un nuevo conjunto de desafíos. Cuando un modelo se ejecuta en su propio hardware, consume electricidad, genera calor y tarda tiempo en pensar. El hecho de que un modelo sea lo suficientemente pequeño como para caber en una computadora portátil no significa que sea lo suficientemente eficiente como para ser práctico para el uso diario.
Un equipo de investigadores del Instituto de Tecnología de Florida se propuso comprender las compensaciones del mundo real al ejecutar estos modelos locales. Querían saber si el modelo más preciso era también el más eficiente, o si elegir la mejor herramienta para el trabajo requería equilibrar la velocidad, la energía y la corrección. Para encontrar la respuesta, se centraron en un tipo específico de tarea: el razonamiento matemático. Los problemas matemáticos son ideales para este tipo de prueba porque tienen respuestas claras y objetivas. A diferencia de una consigna de escritura creativa donde la respuesta "correcta" es subjetiva, un problema matemático tiene una solución correcta o no la tiene. Los investigadores seleccionaron tres modelos compactos, cada uno con menos de cinco mil millones de parámetros —una medida del tamaño y la complejidad del modelo. Estos modelos, desarrollados por Google, Microsoft y Alibaba, fueron elegidos porque son lo suficientemente pequeños como para ejecutarse en computadoras de consumo estándar sin necesidad de equipos especializados y costosos.
El equipo diseñó un experimento riguroso para asegurar una comparación justa. Reunieron tres conjuntos distintos de problemas matemáticos que iban desde la aritmética de octavo grado hasta el cálculo de nivel universitario y la estadística avanzada. Luego, introdujeron exactamente estas mismas preguntas en cada uno de los tres modelos, ejecutándolos todos en la misma computadora con configuraciones idénticas. Crucialmente, no solo se fijaron en si los modelos obtenían la respuesta correcta. También midieron exactamente cuánto tiempo tardó cada pregunta en resolverse, cuántas palabras generó el modelo para llegar a ella y cuánta energía eléctrica consumió la tarjeta gráfica de la computadora durante el proceso. Construyeron un sistema para verificar automáticamente las respuestas finales, eliminando el texto o el formato adicional para ver si el número o la solución central coincidía con el resultado esperado. Esto les permitió separar los errores de razonamiento genuinos de los simples errores de formato.
Los resultados revelaron una desconexión sorprendente entre la precisión y la eficiencia. Ningún modelo fue el mejor en todo. Un modelo, desarrollado por Alibaba, logró la mayor precisión en las pruebas de matemáticas de octavo grado y de estadística avanzada. Otro modelo, de Google, tuvo el mejor desempeño en los problemas de cálculo. El tercer modelo, de Microsoft, tuvo dificultades significativas en las tres categorías, obteniendo muy pocas respuestas correctas. Sin embargo, cuando los investigadores observaron la eficiencia energética, las clasificaciones cambiaron dramenteamente. El modelo de Google fue el claro ganador en términos de uso de energía. Por cada unidad de electricidad que consumía, producía aproximadamente tres veces más respuestas correctas que el modelo de Alibaba. El modelo de Alibaba, aunque a menudo era el más preciso, requería significativamente más tiempo y energía para generar sus respuestas, produciendo mucho más texto del necesario para llegar a la solución. El modelo de Microsoft, a pesar de ser el menos intensivo en energía en algunos casos, era tan inexacto que sus ganancias de eficiencia resultaban irrelevantes.
El estudio también destacó la importancia de cómo se configuran estos modelos. El modelo de Alibaba tiene un modo de "pensamiento" donde hace una pausa para razonar un problema antes de responder. Los investigadores desactivaron esta función para su prueba para asegurar una comparación justa con los otros modelos, que no poseen la misma capacidad. Señalaron que esta elección podría haber reducido la precisión del modelo de Alibaba en comparación con cómo se desempeñaría con el pensamiento habilitado, pero era necesario para mantener consistentes las condiciones de la prueba. Además, los investigadores encontraron que el bajo desempeño del modelo de Microsoft no se debió a que la computadora fallara al leer las respuestas. El sistema extrajo con éxito las respuestas de casi todas las respuestas, lo que significa que los malos resultados se debieron a que el modelo proporcionó soluciones incorrectas en lugar de un fallo en el proceso de prueba.
En última instancia, la investigación demuestra que para cualquiera que busque ejecutar estos modelos en su propio hardware, la precisión no es la única métrica que importa. Un modelo que es ligeramente menos preciso pero que utiliza una fracción de la energía y el tiempo puede ser la mejor opción para un estudiante o un equipo pequeño con recursos informáticos limitados. Los hallazgos sugieren que no existe un único "mejor" modelo para el uso local. En cambio, la elección correcta depende enteramente de la tarea específica y de las restricciones del hardware del usuario. Si el objetivo es resolver problemas complejos de cálculo con la mayor precisión posible, un modelo podría ser preferible. Si el objetivo es procesar cientos de preguntas rápidamente mientras se conserva la batería o la electricidad, otro modelo se convierte en la elección lógica. Este estudio proporciona un método claro y documentado para tomar estas decisiones, yendo más allá de las simples puntuaciones de precisión hacia una comprensión más práctica de cómo estas herramientas se desempeñan en el mundo real.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.