Resumen Técnico: Consistencia Conjunta (JC)

Definición del Problema

El artículo aborda la Agregación en Tiempo de Prueba (TTA), el problema de seleccionar una única respuesta fiable de un conjunto de $N$ trazas de razonamiento candidatas generadas para una consulta específica. Si bien los métodos existentes de Escalado en Tiempo de Prueba (TTS) generan eficazmente múltiples trazas, sus estrategias de agregación a menudo sufren dos limitaciones:

1. Aislamiento: La mayoría de los métodos (por ejemplo, Autoconsistencia, Autoconsistencia Ponderada) evalúan las trazas de forma independiente, confiando en puntuaciones absolutas de calidad o frecuencias de respuesta. Esto ignora la información comparativa entre candidatos.
2. Dificultad de Calibración: La evaluación independiente requiere que el evaluador produzca puntuaciones absolutas bien calibradas, lo cual es a menudo difícil de lograr, especialmente a través de generadores de modelos heterogéneos.
3. Escalabilidad de las Comparaciones: Si bien los juicios comparativos (por ejemplo, "La traza A es mejor que la traza B") suelen ser más fiables que las puntuaciones absolutas, incorporar ingenuamente todas las comparaciones por pares incurre en un costo computacional de $O(N^2)$, lo cual es prohibitivo para presupuestos grandes de trazas.

Los autores plantean la pregunta: ¿Cómo pueden incorporarse los juicios comparativos por pares en la agregación en tiempo de prueba de una manera fundamentada y computacionalmente eficiente?

Metodología: Consistencia Conjunta (JC)

Los autores proponen la Consistencia Conjunta (JC), un marco unificado formulado como un problema de minimización de energía de tipo Ising con restricciones.

1. La Función de Energía

El objetivo de la agregación es encontrar un vector indicador $x \in \{0, 1\}^N$ (donde $x_i=1$ si se selecciona la traza $i$) que minimice la función de energía $H(x)$:
$$\min_{x \in \{1_{I_k} | k \in [K]\}} H(x) := -\mu \langle h, x \rangle - x^\top J x$$
Donde:

• $K$ es el número de respuestas candidatas distintas.
• Restricción: El conjunto factible restringe $x$ para seleccionar exactamente un grupo de respuestas (todas las trazas que producen la misma respuesta).
• $h$ (Campo Externo): Un vector que codifica señales de evaluación independiente (por ejemplo, puntuaciones de LLM como juez para trazas individuales).
• $J$ (Matriz de Interacción): Una matriz que codifica señales comparativas por pares (por ejemplo, probabilidades de que la traza $i$ sea preferida sobre la traza $j$).
• $\mu$ (Hiperparámetro): Controla la compensación entre la evaluación independiente y las interacciones por pares.

2. Construcción de la Matriz de Interacción ($J$)

La matriz $J$ se construye utilizando comparaciones de LLM como juez.

• Probabilidades por Pares: Para las trazas $y_i$ y $y_j$, el juez estima $p_\theta(y_i \succeq y_j)$, la probabilidad de que $y_i$ sea mejor que $y_j$.
• Construcción Semidefinida Positiva: Para garantizar estabilidad e interpretabilidad, $J$ se define como $J = CC^\top$, donde la entrada $C_{ij}$ es una versión normalizada de la probabilidad de preferencia:
  $$C_{ij} := \sqrt{\frac{p_\theta(y_i \succeq y_j)}{n_i^2 n_j}}$$
  Aquí, $n_i$ es el número de trazas que comparten la misma respuesta que $y_i$. Esta construcción implica que dos trazas tienen una interacción fuerte si ambas son preferidas sobre conjuntos similares de trazas competidoras.

3. Interpretación Teórica

Bajo un supuesto de homogeneidad a nivel de respuesta (donde todas las trazas para una respuesta dada $a^{(k)}$ tienen probabilidades idénticas de preferencia por pares frente a las trazas de otra respuesta $a^{(k')}$), el término cuadrático $x^\top J x$ se simplifica a una suma de preferencias a nivel de respuesta. Esto proporciona una justificación teórica para convertir las comparaciones a nivel de traza en una regla de agregación a nivel de respuesta.

4. Estrategia de Aproximación Eficiente

Para abordar el costo $O(N^2)$ de calcular $J$ para todos los pares de trazas, los autores proponen una aproximación Top-$\kappa$:

• En lugar de comparar las $N$ trazas, las interacciones se estiman solo entre los $\kappa$ grupos de respuestas más frecuentes.
• Esto reduce la complejidad de $O(N^2)$ a $O(\kappa^2)$, donde $\kappa$ es un pequeño presupuesto de consistencia (por ejemplo, $\kappa=4$).
• La optimización de la función de energía en sí misma es tratable ($O(K)$ u $O(\kappa)$) porque el conjunto factible se restringe a $K$ (o $\kappa$) grupos de respuestas candidatas, evitando la naturaleza NP-dura de la optimización binaria cuadrática sin restricciones (QUBO) general.

Contribuciones Clave

1. Incorporación de Señales Comparativas: JC introduce un modelo de minimización de energía con restricciones que integra señales comparativas por pares mediante una matriz de interacción $J$, junto con señales independientes mediante un campo externo $h$.
2. Marco Unificador: La formulación subsume los métodos existentes como casos especiales:
   • Autoconsistencia (SC): $J=0, \mu=0$ (o $h$ específica).
   • Autoconsistencia Ponderada (WSC): $J=0, \mu > 0$.
   • Solo Interacción: $\mu=0$.
   • Al variar $\mu$, JC interpola entre estas estrategias.
3. Escalabilidad: La propuesta aproximación Top-$\kappa$ hace que el modelado de interacciones sea práctico para la agregación a gran escala, reteniendo los beneficios de las comparaciones por pares con costos comparables a la votación ponderada estándar.

Resultados Experimentales

Los autores evaluaron JC en benchmarks de razonamiento matemático (MathArena: AIME, HMMT, Brumo) y razonamiento en código (CruxEval-O).

• Entornos Crowdsourced (Trazas Heterogéneas):
  • JC superó consistentemente a las líneas base (SC, WSC, Best-of-N, Torneo de Eliminación) a través de diversos modelos jueces (Qwen, DeepSeek, variantes de GPT) y presupuestos de trazas.
  • En MathArena-C (subconjunto desafiante), JC con un pequeño $\kappa=4$ logró ganancias de precisión superiores al 20% en comparación con WSC.
  • JC permaneció robusto incluso cuando las trazas fueron generadas por modelos de nivel inferior, donde las puntuaciones independientes eran poco fiables pero la coherencia comparativa seguía siendo efectiva.
• Entornos Homogéneos (Señales Intrínsecas):
  • En configuraciones donde estaban disponibles las log-probabilidades a nivel de token (por ejemplo, DeepSeek-R1, Qwen3), JC superó aún a las líneas base de evaluación intrínseca como Auto-certidumbre y DeepConf.
  • La ganancia de rendimiento de JC sobre la línea base más fuerte aumentó a medida que aumentaba el número de trazas ($N$), lo que indica mejores propiedades de escalado.
• Eficiencia de Costos:
  • Se encontró que el costo de la fase de evaluación de JC (consultar al juez para $h$ y $J$) fue menor del 1% del costo de generar las trazas de razonamiento.
  • El método es robusto ante la elección de $\mu$ (rango óptimo típicamente $[0.5, 1]$) y no requiere ajuste fino para modelos jueces específicos.

Significado y Afirmaciones

El artículo afirma que la Consistencia Conjunta proporciona un enfoque fundamentado y unificado para la agregación en tiempo de prueba que cierra la brecha entre la evaluación independiente y la comparación por pares.

• Perspectiva Teórica: Enmarca la agregación como un problema de minimización de energía, ofreciendo una interpretación teórica de cómo las comparaciones por pares se agregan a nivel de respuesta.
• Impacto Práctico: Demuestra que aprovechar las señales comparativas mediante una estrategia de aproximación eficiente produce ganancias consistentes sobre las líneas base del estado del arte sin sobrecarga computacional prohibitiva.
• Limitaciones: Los autores notan modestamente que el trabajo actual se centra en la agregación de respuestas finales en tareas de razonamiento; la generalización al razonamiento abierto o a la resolución de problemas a nivel de investigación no está probada. Además, la construcción específica de la matriz de interacción $J$ puede no ser óptima, y el método hereda las limitaciones de los modelos de generación y juez subyacentes.