Resumen Técnico: Autoconsistencia mediante Afianzamiento Marginal

Planteamiento del Problema

Los modelos de lenguaje modernos resuelven cada vez más tareas complejas generando trazas de razonamiento intermedias (por ejemplo, derivaciones, bocetos de código, esquemas de demostración) antes de emitir una respuesta final. Aunque los métodos de inferencia estándar, como la indicación de Cadena de Pensamiento (Chain-of-Thought), elicitan este comportamiento, a menudo dependen de muestrear una única trayectoria o de utilizar votación mayoritaria post-hoc (autoconsistencia) para seleccionar la respuesta final.

Los autores identifican una limitación fundamental en los métodos existentes de afianzamiento durante la inferencia, específicamente en el muestreo de potencia. El muestreo de potencia afianza la distribución sobre secuencias generadas completas (la distribución conjunta de la traza de razonamiento $z$ y la respuesta $a$). El artículo argumenta que este es el nivel de abstracción incorrecto para el razonamiento:

1. Enredamiento de Variables Latentes: Una traza de razonamiento es un cálculo latente. Muchas trazas distintas pueden conducir a la misma respuesta correcta.
2. Competencia vs. Apoyo: El afianzamiento a nivel de secuencia trata a las derivaciones o implementaciones alternativas de la misma solución como competidoras, concentrando la probabilidad en transcripciones completas específicas en lugar de en la respuesta en sí misma.
3. Fragilidad de la Votación: La autoconsistencia estándar (votación mayoritaria) requiere una coincidencia exacta de cadenas. En dominios estructurados como el código o las demostraciones, la misma solución subyacente puede manifestarse en muchas formas superficiales (diferentes nombres de variables, flujos de control u órdenes de lemas), lo que provoca que la votación fragmente el apoyo entre variaciones válidas.

El problema central es cómo aprovechar múltiples trazas de razonamiento para amplificar la probabilidad de la respuesta correcta sin requerir un acuerdo exacto de cadenas ni incurrir en el costo computacional de buscar sobre trayectorias completas.

Metodología: Afianzamiento Marginal

Los autores proponen el Afianzamiento Marginal, un objetivo durante la inferencia que desplaza el objetivo desde la distribución conjunta $\pi(z, a | x)$ hacia el marginal de respuesta afianzado $p_{\alpha}^{marg}(a | x)$.

Marco Teórico

1. Descomposición: La finalización del modelo $y$ se analiza en una traza de razonamiento $z$ y un segmento de respuesta final $a$. El modelo induce un marginal de respuesta natural $m(a | x) = \sum_z \pi(z, a | x)$.
2. Distribución Objetivo: En lugar de afianzar la distribución conjunta, el método define una distribución de potencia sobre el marginal de respuesta:
   $$p_{\alpha}^{marg}(a | x) = \frac{m(a | x)^\alpha}{\sum_{a'} m(a' | x)^\alpha}$$
   donde $\alpha > 1$ es la fuerza de afianzamiento. A medida que $\alpha \to \infty$, esto converge a la respuesta con el soporte marginal máximo (el objetivo ideal de autoconsistencia).
3. Representación de Potencia Entera: Para una fuerza de afianzamiento entera $K$, los autores derivan una descomposición exacta utilizando $K$ trazas de razonamiento independientes. La distribución objetivo puede expresarse como una esperanza sobre $K$ trazas muestreadas independientemente $z_{1:K}$:
   $$p_{K}^{marg}(a | x) \propto \mathbb{E}_{z_{1:K}} \left[ \prod_{i=1}^K \pi(a | x, z_i) \right]$$
   Esta formulación conecta la autoconsistencia con el muestreo desde una distribución objetivo a nivel de respuesta.

Algoritmo: Decodificación Autoregresiva Paralela

Muestrear directamente desde la distribución derivada es intratable porque requiere sumar sobre todas las continuaciones futuras posibles (el "normalizador de continuación"). Los autores proponen un algoritmo ligero de decodificación autoregresiva paralela (Algoritmo 1) que aproxima este objetivo:

1. Generación de Trazas: Generar $M = K \times S$ trazas de razonamiento, agrupadas en $S$ conjuntos de $K$ trazas cada uno.
2. Aproximación a Nivel de Token: En lugar de calcular la probabilidad de la secuencia completa, el algoritmo decodifica la respuesta token a token. En cada paso $t$, calcula una distribución ponderada sobre el vocabulario:
   $$q_t^{(S)}(v | x, a_{<t}) \propto \sum_{s=1}^S w_s(a_{<t}) \exp\left( \sum_{i=1}^K \log \pi(v | x, z_i^{(s)}, a_{<t}) \right)$$
   • Pesos de Prefijo ($w_s$): Estos pesos rastrean la probabilidad del prefijo de respuesta ya generado bajo cada grupo de $K$ trazas. Se actualizan en línea a medida que se muestrean los tokens.
   • Aproximación Local: El algoritmo ignora el "normalizador de continuación" intratable (la probabilidad de los tokens futuros), tratándolo como un factor común que se cancela durante la normalización local.
3. Muestreo: El algoritmo muestrea el siguiente token desde esta distribución, actualiza los pesos del prefijo y repite hasta que la respuesta termina.

Este enfoque permite que el modelo genere una única respuesta que está "respaldada" por múltiples caminos de razonamiento, realizando efectivamente una autoconsistencia suave durante la generación en lugar de como un paso de votación post-hoc.

Contribuciones Clave

1. Formulación del Afianzamiento Marginal: El artículo define un objetivo durante la inferencia que trata las trazas de razonamiento como variables latentes y afianza la distribución de respuestas inducida, en lugar de la distribución conjunta de trazas y respuestas.
2. Descomposición Multi-traza: Los autores demuestran que, para fuerzas de afianzamiento enteras, el marginal de respuesta afianzado admite una descomposición en una esperanza sobre $K$ trazas de razonamiento independientes, vinculando teóricamente la autoconsistencia con el muestreo a nivel de respuesta.
3. Algoritmo de Decodificación Eficiente: Proponen un algoritmo autoregresivo paralelo que muestrea aproximadamente desde esta distribución afianzada. Es puramente autoregresivo, no requiere canonizadores externos y evita el costo cuadrático de generación de tokens del muestreo de potencia a nivel de secuencia.
4. Validación Empírica: El método se evalúa en benchmarks de razonamiento matemático (MATH-500) y generación de código (HumanEval+, LiveCodeBench).

Resultados

Los experimentos utilizan modelos de la familia Qwen (1.7B, 4B, 8B) en tres benchmarks.

• Rendimiento vs. Muestreo de Potencia: El afianzamiento marginal supera significativamente al muestreo de potencia estándar en benchmarks de generación de código (HumanEval+ y LiveCodeBench). En MATH-500, se desempeña de manera comparable o ligeramente inferior a la votación mayoritaria (que es una línea base fuerte para matemáticas debido a los espacios de respuesta pequeños y la verificación simbólica).
• Eficiencia: El método es órdenes de magnitud más rápido que el muestreo de potencia para generaciones largas. Para $L=8192$, el afianzamiento marginal fue 38 veces más rápido que el muestreo de potencia en el benchmark HumanEval+ mientras lograba una mayor precisión. El muestreo de potencia requiere $O(L^2)$ generación de tokens debido al remuestreo, mientras que el afianzamiento marginal requiere $O(L)$.
• Hiperparámetros:
  • Fuerza de Afianzamiento ($K$): Aumentar $K$ generalmente mejora el rendimiento al concentrar la probabilidad en respuestas respaldadas por múltiples trazas, aunque aumenta el cómputo.
  • Recuento de Muestras ($S$): Aumentar $S$ (el número de grupos de trazas) mejora la calidad de la aproximación a nivel de token, produciendo ganancias consistentes, particularmente con presupuestos de generación más bajos.
  • Asignación de Presupuesto: Bajo un presupuesto total de cómputo fijo ($K \times S = \text{const}$), diferentes asignaciones entre la fuerza de afianzamiento y el recuento de muestras producen resultados comparables, lo que sugiere una compensación donde el afianzamiento agresivo y una mejor calidad de aproximación se compensan en gran medida entre sí.

Significado y Afirmaciones

El artículo afirma que la autoconsistencia debe entenderse como un principio de inferencia a nivel de respuesta en lugar de una heurística de votación post-hoc.

• Cambio de Enfoque: Al apuntar al marginal de respuesta, el método agrega correctamente el apoyo a través de diversos caminos de razonamiento (por ejemplo, diferentes implementaciones de código o estrategias de demostración) que los métodos a nivel de secuencia tratan como salidas distintas y competidoras.
• Escalabilidad: El algoritmo propuesto habilita los beneficios de la autoconsistencia en dominios con grandes espacios de salida estructurados (como el código) donde la coincidencia exacta de cadenas falla, sin el costo computacional prohibitivo de la búsqueda de trayectorias completas o el remuestreo.
• Practicidad: El método es una versión "suave" de la autoconsistencia que puede implementarse con modelos autoregresivos estándar y decodificación paralela, convirtiéndolo en una alternativa práctica al muestreo por temperatura y al muestreo de potencia para tareas de razonamiento.

Los autores concluyen que el cómputo en tiempo de prueba se gasta más eficazmente en refinar la creencia sobre la respuesta inducida por el razonamiento latente que en seleccionar la única transcripción completa más probable.