Resumen Técnico: El Suelo de Calibración

1. Planteamiento del Problema

El artículo aborda un confuso factor de confusión crítico en la evaluación de la autocorrección intrínseca en los Modelos de Lenguaje Grande (LLM). Las métricas estándar de autocorrección miden el cambio en la precisión ($\Delta_{total}$) entre una respuesta inicial ($a_0$) y una respuesta revisada ($a_f$) generada tras un modelo que critica su propio razonamiento.

Los autores argumentan que $\Delta_{total}$ suele malinterpretarse como un cambio en el contenido del razonamiento (el modelo corrigiendo realmente un error). Sin embargo, en la generación de texto libre, la precisión depende de la extraibilidad: si el contenido de la salida del modelo contiene una cadena que un extractor de respuestas pueda procesar. Si la tasa de éxito de extracción difiere entre $a_0$ y $a_f$, el delta de precisión observado está contaminado por artefactos de formato en lugar de cambios genuinos en el razonamiento.

El artículo postula que:

1. Las aparentes ganancias o daños en la autocorrección pueden ser impulsados enteramente por si el modelo logró emitir una cadena procesable, no por si cambió de opinión.
2. Este factor de confusión oscurece el verdadero "margen de contenido" (la mejora o degradación real del razonamiento).
3. La literatura existente puede haber sobreestimado la eficacia de la autocorrección o mal atribuido las causas del éxito o el fracaso.

2. Metodología

2.1 La Descomposición del Margen

La contribución metodológica central es una descomposición exacta y aditiva del delta total de precisión:
$$\Delta_{total} = \Delta_{content} + \Delta_{format\_recover} + \Delta_{format\_loss}$$

• $\Delta_{content}$ (Margen de Contenido): El cambio de precisión restringido a las muestras donde tanto $a_0$ como $a_f$ son procesables. Este es el único margen atribuible a cambios genuinos en el razonamiento.
• $\Delta_{format\_recover}$: Casos donde $a_0$ no era procesable (calificado como incorrecto) pero $a_f$ sí lo es (calificado como correcto). Esta es una "segunda oportunidad" para la extracción, no necesariamente una corrección de razonamiento.
• $\Delta_{format\_loss}$: Casos donde $a_0$ era procesable (calificado como correcto) pero $a_f$ se volvió no procesable (calificado como incorrecto). Esto es una pérdida de una respuesta funcional debido a problemas de formato.
• Dead (Muerto): Casos donde ambos no son procesables (contribuyen 0 al delta).

2.2 El Suelo de Calibración

Los autores refinan el criterio del "suelo de calibración" (la calidad mínima de señal requerida para que la revisión selectiva sea rentable) para aplicarlo únicamente al margen de contenido. Definen un umbral de rentabilidad $\delta$ (fijado en 0.01) y calculan el $AUROC^*$ mínimo requerido para que una señal de compuerta supere este suelo. Si la mejor señal disponible no puede superar el $AUROC^*$, la celda se considera "comprimida" (sin un nicho de compuerta viable).

2.3 Diseño Experimental

• Modelos: 29 celdas primarias a través de Qwen3.5 (0.8B, 2B, 4B, 9B) y Gemma-4-12B.
• Verificación de Frontera: Pruebas basadas en API en Tencent Hy3 y Nvidia Nemotron-3-Ultra-550B (~55B de parámetros activos).
• Tareas: GSM8K, MATH, MMLU, ARC-Challenge, HumanEval, MBPP, TriviaQA, etc.
• Protocolo: Un enfoque de "trayectoria congelada" donde los modelos generan una respuesta inicial, la critican y generan una revisión. Las decisiones de compuerta se toman fuera de línea basándose en señales intrínsecas (logprobs de tokens, confianza verbalizada, etc.).

2.4 Controles Causales

Para ir más allá de la correlación observacional, el artículo emplea:

1. Sonda de Continuación Forzada: Obligar al modelo a emitir una respuesta final inmediatamente después de la generación inicial (saltándose el paso de revisión) para ver si la "respuesta" ya estaba presente pero no extraída.
2. Control Causal de Decodificación Restringida: Re-extracción de respuestas de la ya generada el texto libre utilizando decodificación con restricción de gramática (garantizando la procesabilidad). Esto prueba cuánto se reduce el $\Delta_{total}$ cuando se elimina el ruido de formato, aislando el efecto de contenido real.
3. Inversión de Signo del Régimen de Prompts: Comparar prompts "propensos a la truncación" (alta falla de extracción) frente a prompts "reparados" para mostrar cómo el signo de $\Delta_{total}$ cambia según el éxito de la extracción, mientras que $\Delta_{content}$ permanece estable.

3. Principales Contribuciones

1. Descomposición Exacta: Una identidad algebraica que separa los cambios de precisión de la autocorrección total en márgenes de contenido y de formato, aplicable a cualquier trayectoria de revisión continua.
2. Evidencia Causal: Un control de decodificación restringida que, en celdas con un canal de extracción activo ($a_0$-bad $\ge 8\%$), cierra un promedio del 71% de la brecha entre los efectos totales estándar y las estimaciones del margen de contenido (rango 55–100%), con cierre exacto en dos celdas y residuos honestos reportados en otras.
3. Compresión Dependiente de la Escala: Evidencia empírica de que:
   • Modelos de escala de suelo (0.8B–2B): Exhiben cambios reales a nivel de contenido (a menudo perjudiciales) pero carecen de suficiente calidad de señal para superar el suelo de calibración.
   • Modelos de escala capaz (4B–12B+): Exhiben cambios de contenido casi nulos (inercia) a pesar de tener señales fiables, dejando sin "margen de maniobra" para que la compuerta actúe.
4. Fallo de Replicación de Protocolo: Una replicación verbatim de un protocolo de compuerta de confianza citado (IoE) en una nueva familia de modelos falla en reproducir las ganancias originales, mostrando en su lugar el mismo margen de contenido cercano a cero y los efectos impulsados por el formato.
5. Reproducibilidad: Lanzamiento de una biblioteca completa de trayectorias fuera de línea, compuertas de extracción y código de análisis.

4. Resultados Clave

4.1 Dominancia de los Artefactos de Formato (Afirmación C1)

• En 12 celdas con tasas significativas de no procesabilidad, la magnitud de los efectos de formato ($|\Delta_{format}|$) supera significativamente a los efectos de contenido ($|\Delta_{content}|$) (Wilcoxon $p=1.7\times 10^{-3}$).
• Inversión de Signo: En varias celdas (ej., 0.8B ARC), cambiar el régimen de prompts de propenso a la truncación a uno reparado invirtió el signo del efecto total (de un daño aparente a una ganancia aparente), mientras que el margen de contenido se mantuvo pequeño y estable.
• Cierre Causal: Al forzar la re-extracción procesable en el razonamiento existente, el efecto total colapsó hacia el margen de contenido. Para celdas con un canal de extracción activo ($a_0$-bad $\ge 8\%$), el cierre mediano fue del 71% (rango 55–100%). Por ejemplo, en 9B MMLU, la ganancia aparente de +0.145 cayó a +0.053; en 0.8B MMLU, cambió de +0.020 a -0.017. Dos celdas (2B/4B ARC) convergieron exactamente, mientras que 4B/9B MMLU retuvieron un residuo contra una estimación de contenido cercana a cero.

4.2 Contraste de Escala: Inercia vs. Inestabilidad (Afirmación C2)

• Escala Capaz (4B–12B): Los márgenes de contenido son efectivamente cero. En 11 de 13 celdas de escala capaz, la tasa de cambio de contenido fue $\le 0.05$ y $\Delta_{content}$ estuvo dentro de $\pm 0.03$. Los modelos rara vez cambian sus respuestas procesables.
• Escala de Suelo (0.8B–2B): Los márgenes de contenido están activos y suelen ser perjudicialos. Los modelos de escala de suelo muestran tasas de cambio de contenido significativamente más altas (mediana 11.5% vs. 0.5% para los capaces) y efectos de contenido netos perjudiciales. Un modelo GEE agrupado estima que las filas de escala de suelo tienen 16–21 veces más probabilidades de cambio y daño a nivel de contenido en comparación con las filas de escala capaz.

4.3 La Compresión (Afirmación C3)

• Al aplicar el criterio del suelo de calibración al margen de contenido, la "región de compuerta viable" (donde un modelo tiene cambios de contenido reales y una señal lo suficientemente fuerte para detectarlos) está casi vacía.
• Celdas de escala de suelo: Tienen cambios de contenido reales (margen de maniobra) pero fallan el suelo de señal (señal insuficiente).
• Celdas de escala capaz: Tienen señales fiables pero casi no tienen margen de maniobra de contenido (inercia).
• Resultado: Solo una celda (9B TriviaQA) ocupa marginalmente el cuadrante viable, e incluso allí, la ganancia es pequeña (+0.020) y no es robusta bajo la política sellada.

4.4 Verificaciones de Frontera y de Familia

• Gemma-4-12B: Replica el patrón de Qwen: grandes cambios totales impulsados enteramente por el formato, con cero margen de contenido.
• Modelos de Frontera (Hy3, Nemotron-550B): A pesar de su mayor escala, el patrón se intensifica. Los efectos totales alcanzaron hasta +0.275 (Hy3 MMLU), pero $\Delta_{content}$ fue exactamente 0.000 en las 5 celdas de frontera. El margen de formato explica todo el efecto medido.

5. Significancia y Afirmaciones

El artículo afirma que el contenido es una parte minoritaria de lo que el campo ha medido como "autocorrección".

• Corrección de Medición: Una puntuación de referencia tras la autorrevisión es el resultado de dos sistemas acoplados (razonamiento + extracción). Los deltas de precisión estándar colapsan estos sistemas. El artículo argumenta que, sin descomponer los márgenes, las ganancias observadas son a menudo simplemente "mejoras en el formato de la respuesta".
• Reconciliación de la Literatura: Los hallazgos reconcilian la literatura contradictoria (ej., Huang et al. encontrando que la autocorrección es perjudicial vs. Li et al. encontrando que es útil). Los autores sugieren que ambos pueden ser ciertos: el "daño" puede ser una degradación real del contenido en escalas pequeñas, mientras que la "ayuda" puede ser la recuperación de formato en escalas grandes, siendo el efecto de contenido real insignificante en modelos capaces.
• Estándar Práctico: El artículo propone un nuevo estándar para la investigación de la autocorrección:
  1. Reportar las tasas de procesabilidad de las salidas iniciales y revisadas.
  2. Descomponer los cambios de precisión total en márgenes de contenido y de formato.
  3. Probar causalmente la descomposición (ej., mediante decodificación restringida) donde los canales de extracción estén activos.
  4. Reportar las ganancias de la política sellada junto con la precisión total.

El artículo concluye que, hasta que no se tomen estos pasos, las mejoras atribuidas al razonamiento pueden ser simplemente mejoras en el formato de la respuesta. El "Suelo de Calibración" en el margen de contenido revela una "compresión" donde ni los modelos pequeños ni los grandes ofrecen actualmente un nicho robusto y escalable para la autocorrección basada en la confianza.