💻 ciencias de la computación

Does More Deliberation Help? A Comparative Evaluation of Chain-of-Thought Prompting Strategies for Grade-School Math Reasoning in Open-Source Instruction-Tuned Language Models

Este artículo demuestra empíricamente que, para modelos de pesos abiertos ajustados por instrucciones de tamaño pequeño (3.8–8B) que resuelven problemas matemáticos de nivel de escuela primaria, el prompting de Cadena de Pensamiento (Chain-of-Thought) de pocos disparos (few-shot) supera significativamente a las líneas base de cero disparos (zero-shot), mientras que estrategias de deliberación más complejas como la consistencia de la auto-consistencia (self-consistency) y el árbol de pensamiento (tree-of-thought) no logran proporcionar mejoras de precisión estadísticamente fiables sobre los métodos más simples.

Autores originales: Arun Kumar

Publicado 2026-10-13

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Arun Kumar

Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el mundo de la inteligencia artificial, que evoluciona rápidamente, los investigadores han buscado durante mucho tiempo una forma de hacer que los programas informáticos piensen más como los humanos, particularmente al resolver problemas que requieren una secuencia de pasos lógicos. Durante años, el enfoque estándar consistía en alimentar a estos sistemas con una pregunta directa y esperar una respuesta, pero esto a menudo conducía a errores de aritmética y lógica. Un gran avance ocurrió cuando los científicos se dieron cuenta de que, si pedían a los modelos que escribieran primero su proceso de pensamiento —mostrando su trabajo antes de declarar una conclusión—, su precisión mejoraba drásticamente. Esta técnica, conocida como prompting de cadena de pensamiento (chain-of-thought prompting), se ha convertido en una piedra angular para lograr que las máquinas razonen. Sin embargo, a medida que estas herramientas han pasado de ser supercomputadoras masivas y costosas a versiones más pequeñas y asequibles que los individuos y empresas pueden ejecutar en sus propios dispositivos, ha surgido una pregunta crítica: ¿siguen funcionando los trucos de razonamiento más complejos y pesados en recursos, o simplemente añaden un costo innecesario sin mejorar el resultado?

Un estudio reciente se propuso responder a esta pregunta poniendo a prueba cuatro estrategias de razonamiento diferentes en tres modelos de lenguaje populares de escala menor. Los investigadores se centraron en un banco de pruebas de cien problemas matemáticos de palabras de nivel de escuela primaria, un conjunto de acertijos diseñados para ser simples para las personas pero complicados para las computadoras que se saltan pasos. Querían ver si los modelos funcionaban mejor cuando simplemente se les decía que pensaran paso a paso, cuando se les mostraban algunos ejemplos de cómo resolver problemas similares, cuando se les pedía generar múltiples respuestas posibles y votar por la mejor, o cuando se les obligaba a explorar un árbol de ramificaciones de diferentes ideas antes de establecer una solución. El objetivo era determinar qué método ofrecía el mejor equilibrio entre precisión y eficiencia para los tipos de modelos que se están volviendo comunes en las aplicaciones cotidianas.

La investigación reveló una jerarquía de efectividad clara y algo sorprendente. La herramienta más poderosa resultó ser la forma más simple de mostrar ejemplos. Cuando se les daban a los modelos algunos problemas resueltos para estudiar antes de intentar responder las preguntas de la prueba, su precisión aumentaba significativamente en comparación con cuando solo se les daba una instrucción para pensar cuidadosamente. Esta mejora fue constante en los tres modelos probados, con tasas de éxito que aumentaban hasta en cuarenta puntos porcentuales en algunos casos. Los datos mostraron que ver un ejemplo concreto de cómo desglosar un problema era mucho más valioso que cualquier cantidad de instrucción abstracta o deliberación interna.

Por el contrario, las estrategias más elaboradas que implican generar múltiples caminos de razonamiento no proporcionaron los beneficios esperados. Un enfoque, que pide al modelo generar tres soluciones diferentes y elegir la respuesta más común, no logró superar al método de un solo ejemplo. Si bien se sabe que esta técnica ayuda a los modelos más grandes y potentes, el estudio encontró que, para estos sistemas más pequeños, el esfuerzo adicional de generar múltiples respuestas no se traducía en una mejora estadísticamente fiable en la corrección. Los investigadores señalaron que los modelos no estaban cometiendo suficientes errores diversos como para que una votación los corrigiera, lo que significaba que el poder de cómputo adicional gastado en este método era, en gran medida, un desperdicio.

Aún más sorprendente fue el desempeño de la estrategia de árbol de pensamiento (tree-of-thought), un método complejo donde se anima al modelo a explorar diferentes ramas de pensamiento, evaluarlas y retroceder si un camino conduce a un callejón sin salida. Esta técnica había mostrado previamente una gran promesa para acertijos difíciles que requieren mirar hacia adelante o probar múltiples posibilidades. Sin embargo, en estos problemas aritméticos sencillos, no funcionó mejor que el método básico de simplemente pedirle al modelo que piense paso a paso sin ningún ejemplo. En dos de los tres modelos probados, este complejo método de búsqueda funcionó de hecho peor que el enfoque basado en ejemplos simples. El estudio sugiere que, para problemas matemáticos cortos y lineales, la carga de explorar múltiples ramas es un estorbo que los modelos no pueden justificar, ya que los problemas no requieren el tipo de exploración profunda que esta estrategia proporciona.

Los hallazgos ofrecen una guía práctica para quienes utilizan estas tecnologías. La investigación indica que, para los modelos pequeños de código abierto que abordan la aritmética estándar, el camino más efectivo no es añadir más maquinaria de razonamiento compleja o forzar al modelo a pensar en múltiples direcciones. En su lugar, la forma más fiable de aumentar el rendimiento es invertir tiempo en elaborar unos pocos ejemplos de alta calidad que demuestren la forma correcta de resolver un problema. Si bien los métodos más sofisticados podrían parecer una forma de obtener resultados más inteligentes, los datos sugieren que añaden un costo y un tiempo significativos sin ofrecer una ganancia correspondiente en precisión para este tipo específico de tarea. Para los profesionales que buscan desplegar estos modelos de manera eficiente, el estudio concluye que un ejemplo bien construido vale mucho más que un algoritmo de búsqueda complejo.

Resumen Técnico: ¿Ayuda una mayor deliberación?

Planteamiento del Problema

Si bien el prompting de Cadena de Pensamiento (CoT, por sus siglas en inglés) y sus refinamientos (zero-shot CoT, few-shot CoT, auto-consistencia y árbol de pensamiento) han demostrado mejoras significativas en el razonamiento en modelos de lenguaje de gran tamaño (LLM) de frontera y de pesos abiertos, existe una falta de evidencia empírica controlada sobre su eficacia en modelos de parámetros más pequeños (3.8–8B) y de pesos abiertos ajustados por instrucciones. Los profesionales emplean cada vez más estos modelos más pequeños por razones de costo, latencia y privacidad; sin embargo, sigue sin estar claro si las estrategias de deliberación basadas en búsqueda más complejas (como la auto-consistencia y el árbol de pensamiento) mantienen sus ventajas sobre los métodos de prompting más simples en esta clase específica de modelos. Este documento aborda la brecha determinando si el paradigma de "mayor deliberación" se traduce en ganancias de precisión estadísticamente significativas para modelos de pesos abiertos pequeños en el razonamiento aritmético de nivel escolar.

Metodología

El estudio llevó a cabo una comparación controlada, cara a cara, de cuatro estrategias de prompting a través de tres modelos de pesos abiertos ajustados por instrucciones ampliamente utilizados: Mistral-7B-Instruct-v0.2, Phi-3-mini-4k-instruct y Meta-Llama-3-8B-Instruct.

Dataset: Un subconjunto fijo de 100 preguntas extraídas aleatoriamente del benchmark GSM8K (problemas de razonamiento aritmético de nivel escolar). Se utilizaron los mismos 100 ítems para todas las combinaciones de modelo-estrategia para asegurar resultados pareados.
Estrategias de Prompting:
1. Zero-shot CoT: Una única completación codiciosa (greedy) activada por "Let's think step by step" sin ejemplos.
2. Few-shot CoT: Una única completación codiciosa precedida por un conjunto fijo de ejemplares escritos manualmente con soluciones paso a paso.
3. Auto-consistencia (Self-Consistency): Múltiples cadenas de razonamiento independientes ( $k=3$ ) muestreadas con una temperatura distinta de cero utilizando el prompt de few-shot, con la respuesta final determinada por voto de mayoría.
4. Árbol de Pensamiento (Tree-of-Thought, ToT): El problema se descompone en pasos intermedios, generando $k=3$ ramas de razonamiento candidatas que se agregan mediante voto de mayoría, emulando una estructura de búsqueda.
Protocolo de Evaluación:
- Calificación: Coincidencia numérica exacta contra la respuesta de oro de GSM8K.
- Análisis Estadístico: La precisión se reportó con intervalos de confianza del 95% (aproximación de Wald). Las diferencias por pares se probaron utilizando la prueba exacta de McNemar en las tablas 2x2 de resultados discordantes para cada modelo, lo cual es apropiado para comparar estrategias sobre el mismo conjunto de preguntas.
- Umbral de Significancia: $\alpha = 0.05$ (no corregido para comparaciones múltiples, aunque se señalaron correcciones de Bonferroni conservadoras en las limitaciones).

Contribuciones Clave

Comparación Sistemática: Proporciona la primera comparación controlada y estadísticamente probada de zero-shot CoT, few-shot CoT, auto-consistencia y ToT específicamente en modelos pequeños (3.8–8B) de pesos abiertos ajustados por instrucciones.
Rigor Estadístico: Va más allá de la estimación puntual de precisión al calcular intervalos de confianza del 95% y aplicar la prueba exacta de McNemar para validar las diferencias por pares, abordando las limitaciones de estudios previos que a menudo dependían de pruebas no emparejadas o evaluaciones de un solo modelo.
Análisis de la Relación Costo-Precisión: Evalúa explícitamente si el aumento del costo de inferencia de las estrategias estocásticas (auto-consistencia y ToT) genera beneficios de precisión estadísticamente fiables sobre los baselines más simples en el contexto de problemas aritméticos cortos de un solo camino.

Resultados

El estudio evaluó un total de 1,200 salidas de modelos (3 modelos $\times$ 4 estrategias $\times$ 100 preguntas).

Few-Shot vs. Zero-Shot: El few-shot CoT superó significativamente al zero-shot CoT en los tres modelos, con ganancias de precisión que oscilaron entre 12 y 39 puntos porcentuales (todos con $p < 0.05$ ). Por ejemplo, Phi-3-mini mejoró del 46.0% (zero-shot) al 85.0% (few-shot).
Auto-consistencia vs. Few-Shot: La auto-consistencia con $k=3$ rutas muestreadas no proporcionó una mejora estadísticamente significativa sobre el few-shot CoT de muestra única en ningún modelo (todos con $p \geq 0.83$ ). Las ganancias de precisión fueron insignificantes (por ejemplo, 85.0% vs. 86.0% para Phi-3-mini).
Desempeño de Tree-of-Thought: ToT funcionó significativamente peor que el few-shot CoT en dos de los tres modelos (Phi-3-mini y Llama-3-8B, $p < 0.0001$ ) y fue estadísticamente indistinguible del mucho más barato baseline de zero-shot en los tres modelos. Las precisiones de ToT (47.0%–54.0%) estuvieron consistentemente más cerca del zero-shot CoT que del few-shot CoT.
Variabilidad del Modelo: Phi-3-mini-4k-instruct logró la precisión absoluta más alta (85.0%–86.0% con few-shot/auto-consistencia), superando a modelos más grandes como Llama-3-8B y Mistral-7B, lo que sugiere que la calidad del ajuste por instrucciones y la curación de datos pueden pesar más que el conteo de parámetros en este rango de tamaño.

Significancia y Afirmaciones

El artículo concluye que para tareas de razonamiento aritmético corto de un solo camino en modelos pequeños de pesos abiertos:

Los Ejemplares son Dominantes: La presencia de ejemplares trabajados (few-shot CoT) es el principal motor de las ganancias de precisión. El beneficio de solo "pensar paso a paso" (zero-shot) es sustancialmente menor que proporcionar ejemplos.
Los Costos de Deliberación Superan los Beneficios: Las estrategias de deliberación basadas en búsqueda (ToT) y la auto-consistencia de baja muestra ( $k=3$ ) añaden un costo de inferencia significativo sin generar un beneficio de precisión correspondiente y estadísticamente fiable.
Desajuste Tarea-Estrategia: El fallo de ToT sugiere que su búsqueda estructurada y sus mecanismos de retroceso (backtracking) no son adecuados para problemas aritméticos lineales que no requieren inherentemente la exploración de ramas de solución alternativas.

El autor afirma que para los profesionales que despliegan modelos de 4–8B parámetros en tareas de razonamiento sencillas, invertir esfuerzo en la construcción de ejemplares de alta calidad para few-shot ofrece una relación precisión-por-unidad-de-costo superior en comparación con la implementación de maquinaria compleja de decodificación en tiempo de ejecución, como la auto-consistencia o el árbol de pensamiento.

Limitaciones

El autor reconoce ciertas restricciones:

Tamaño de la Muestra: El uso de 100 ítems resulta en intervalos de confianza amplios y potencialmente un bajo poder estadístico para detectar efectos de menor magnitud, particularmente en el modelo Mistral-7B.
Conteo de Muestras: Los experimentos de auto-consistencia y ToT utilizaron $k=3$ , que es menor que las 10–40 rutas típicamente utilizadas en la literatura para lograr las ganancias reportadas; por lo tanto, el resultado nulo de la auto-consistencia es específico a este modesto presupuesto de muestreo.
Especificidad del Dominio: Los hallazgos están limitados a la aritmética de GSM8K. ToT podría seguir siendo ventajoso en dominios que requieren una búsqueda genuina o retroceso (por ejemplo, planificación, acertijos combinatorios).
Contabilidad de Costos: El estudio reporta la precisión pero no cuantifica los costos de tokens o la latencia, aunque señala que las estrategias estocásticas son inherentemente más costosas.