Mind the Cap: Output-Budget Regimes Change the Measured Multilingual Reasoning Gap

Resumen Técnico: Mind the Cap (Atención al Límite)

Planteamiento del Problema
Las evaluaciones multilingües de los Modelos de Lenguaje Extensos (LLM) informan frecuentemente de una "brecha de razonamiento", donde los modelos desempeñan mejor las tareas de razonamiento cuando el problema se traduce al inglés (por ejemplo, mediante una estrategia de "Traducir-Actuar") en comparación con el razonamiento directo en la lengua nativa. Sin embargo, estas evaluaciones suelen medir la precisión en un único límite de tokens de salida fijo. El artículo argumenta que este límite es una variable experimental oculta. Debido a que diferentes lenguas requieren un número distinto de tokens para expresar el mismo contenido (primas de tokenización), un límite fijo trunca desproporcionadamente las trazas en la lengua nativa en comparación con las de la traducción al inglés. Los autores postulan que la "brecha de razonamiento" medida puede ser un artefacto de este desajuste en el presupuesto de tokens más que un déficit genuino en la capacidad de razonamiento multilingüe.

Metodología
El estudio operacionaliza el "artefacto del presupuesto de tokens" analizando el benchmark MGSM (Multilingual Grade School Math) en tres idiomas (alemán, tailandés, suajili) y dos modelos (Qwen3-8B y Llama-3.1-8B-Instruct).

1. Diseño Experimental:

   • Estrategias: Se evaluaron cuatro estrategias de prompting: NATIVE (razonar y responder en la lengua objetivo), TRANSLATE-ACT (traducir al inglés, resolver, responder en la lengua objetivo), PIVOT (razonar en inglés, responder en la lengua objetivo) y CODE-SWITCHED.
   • El Libro de Contabilidad (The Ledger): Los autores generaron 48,000 generaciones almacenadas (de 4096 tokens cada una) y puntuaron cada prefijo de estas generaciones. Este "libro de contabilidad" permite la evaluación retrospectiva en varios niveles de presupuesto ($B$) sin necesidad de regenerar datos, eliminando el ruido de muestreo entre presupuestos.
   • Decodificación Independiente: Para validar los hallazgos, se generó una muestra separada de 540,000 decodificaciones con límites estrictos aplicados en presupuestos específicos, asegurando que no hubiera trayectorias compartidas entre las fases de descubrimiento y confirmación.

2. Estimando y Métricas:

   • La métrica central es $\Delta_L(B) = acc_N(\lfloor r_{m,L} B \rfloor) - acc_N(B)$, donde $acc_N$ es la precisión nativa y $r_{m,L}$ es la prima de tokens del FLORES-200 de la lengua $L$ sobre el inglés.
   • Esta métrica aísla la ganancia en la precisión nativa cuando el presupuesto se escala para igualar el coste de tokens de la traducción al inglés, preguntando efectivamente: "¿Cuánto de la brecha se debe a que la traza nativa fue cortada?".
   • Hipótesis Falsable: Si la brecha es un artefacto de presupuesto, escalar el presupuesto nativo debería cerrar la brecha. Si la brecha persiste tras el escalado, sugiere un déficit de razonamiento genuino.

3. Rigor Estadístico:

   • El estudio emplea un diseño "prospectivamente congelado". Se definió un presupuesto específico ($B^*=1024$) y un conjunto de seis pruebas con corrección de Holm antes del análisis de datos.
   • Auditorías: Se realizaron cinco auditorías computables mediante el libro de contabilidad: identificación de lengua de la traza (GlotLID), calidad de traducción (COMET), robustez del parser, paridad del decodificador y sensibilidad del normalizador.

Resultados Clave

1. Dependencia del Presupuesto de la Brecha:

   • La brecha medida es altamente sensible al presupuesto de salida. Bajo límites estrictos, la brecha puede oscilar hasta 57 puntos.
   • Normalización de Longitud: Aplicar la normalización de longitud (escalar el presupuesto nativo por la prima de tokens) desplaza la brecha hasta 38.9 puntos en el "régimen de presupuesto vinculante" (donde las respuestas aún se están emitiendo).
   • Reversión de Estrategia: En límites muy estrictos, la normalización de longitud puede revertir qué estrategia parece superior. Por ejemplo, en Qwen alemán y suajili, la estrategia NATIVE supera a TRANSLATE-ACT en presupuestos bajos (p. ej., 128 tokens) porque el preámbulo de la traducción consume demasiados tokens, no dejando espacio para la respuesta.

2. La Prueba Congelada en $B^*=1024$:

   • En el presupuesto preespecificado de 1024 tokens, el estudio no pudo rechazar la hipótesis nula de que la brecha es cero para Qwen (y Llama).
   • Razón: La precisión nativa ya se había saturado en este presupuesto (p. ej., la precisión nativa alemana de Qwen se estancó en 79%). Una vez que la precisión se satura, la diferencia residual entre estrategias es una "brecha de rendimiento de la estrategia" (impulsada por la calidad de la traducción, la reformulación del prompt, etc.) en lugar de un "déficit de razonamiento" causado por la truncación.
   • El estudio concluye que la "brecha de razonamiento" no se identifica en la saturación; solo es visible en el régimen vinculante donde las trazas son truncadas.

3. Confirmación Independiente:

   • Una segunda familia de pruebas utilizando decodificaciones con límites independientes confirmó que las grandes brechas observadas en los picos de descubrimiento (p. ej., 38.9 puntos para el tailandés en 256 tokens) no fueron artefactos de trayectorias compartidas.
   • Sin embargo, en el punto de saturación ($B=1024$), las pruebas independientes también fallaron en rechazar la hipótesis nula, reforzando que la brecha desaparece cuando el presupuesto es suficiente para que la traza nativa se complete.

4. Efectos de Anuncio:

   • El estudio encontró que anunciar un presupuesto al modelo cambia el comportamiento incluso cuando el límite aplicado permanece fijo. Anunciar un presupuesto más ajustado (128 vs. 2048) aumentó la precisión nativa en tailandés en 5.1 puntos, lo que sugiere que la precisión no es solo una función del límite aplicado, sino también de la estimación interna del presupuesto del modelo.

5. Escalera de Adaptación (Extensión del Vocabulario):

   • Los autores probaron si extender el vocabulario (añadiendo tokens de la lengua objetivo) podía cerrar la brecha.
   • Resultado: La extensión del vocabulario solo cerró la brecha donde el límite aún estaba truncando las trazas. En la saturación ($B=1024$), donde ninguna traza fue truncada, la extensión cerró 0.00 puntos de la brecha.
   • Esto confirma que la brecha es impulsada por la truncación, no por una falta de vocabulario o de capacidad de razonamiento per se.

Significancia y Reivindicaciones
El artículo reclama un cambio metodológico en cómo debe evaluarse el razonamiento multilingüe:

• El Límite es una Variable: Los límites de salida deben tratarse como variables independientes, no como constantes de fondo. Reportar la precisión en un único presupuesto es insuficiente y potencialmente engañoso.
• Reencuadre de la Brecha: La "brecha de razonamiento multilingüe" es a menudo un "artefacto de presupuesto vinculante". Cuando se permite que las trazas nativas terminen (mediante normalización de longitud o límites más amplios), la brecha disminuye o desaparece en el régimen vinculante.
• Saturación vs. Déficit: Una vez que la precisión nativa se satura, la diferencia restante entre las estrategias nativa y traducida refleja factores de ejecución (calidad de la traducción, adherencia al prompt) en lugar de una incapacidad fundamental para razonar en la lengua nativa.
• Guía Práctica: Antes de invertir en adaptaciones costosas (como el ajuste fino o la extensión del vocabulario), los profesionales deben medir la ganancia realizada de simplemente extender el límite de salida. Si el límite no es vinculante, estas intervenciones no producirán ningún beneficio.

Los autores son modestos en su alcance, señalando que sus hallazgos son específicos para el benchmark MGSM, los modelos probados y la métrica de evaluación de "coincidencia exacta" específica. No afirman que el razonamiento multilingüe sea idéntico al razonamiento en inglés en todos los contextos, sino que la brecha medida en esta configuración específica es en gran medida un artefacto del presupuesto de tokens.