Resumen Técnico: Cuantificación de la Consistencia en el Razonamiento Lógico de LLM mediante la Incertidumbre Estructural

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) exhiben frecuentemente un modo de fallo en el razonamiento deductivo de múltiples pasos donde llegan a la misma conclusión incorrecta a través de diferentes rutas de razonamiento internamente defectuosas. Los métodos de evaluación post-hoc existentes evalúan primordialmente la fiabilidad a través de la dispersión de la salida (midiendo la variación semántica o la entropía de las respuestas muestreadas). Si bien esto es útil, este enfoque descarta una señal complementaria crítica: la consistencia estructural de las preferencias internas del modelo entre candidatos de razonamiento en competencia.

Los métodos actuales basados en la dispersión no logran detectar el razonamiento "sistemático pero internamente inestable". Por ejemplo, si un modelo genera cinco candidatos que coinciden en una respuesta errónea, las métricas basadas en la dispersión reportan baja incertidumbre (entropía cero), ocultando el hecho de que el ranking interno del modelo para estos candidatos puede ser altamente inestable. Este artículo aborda la necesidad de un marco de evaluación que mida no solo qué respuestas difieren, sino qué tan consistentemente el modelo clasifica las soluciones de razonamiento en competencia para la misma consulta.

Metodología: Marco de Incertidumbre Estructural

Los autores proponen la Incertidumbre Estructural, un marco de evaluación consciente de la consistencia que cuantifica la estabilidad de los rankings inducidos por la auto-preferencia sobre las soluciones de razonamiento muestreadas. El marco opera en un entorno totalmente de caja negra sin requerir acceso a los internos del modelo (logits o estados ocultos).

1. Descripción General del Pipeline

Dada una consulta $x$:

1. Generación de Candidatos: El modelo genera $N$ soluciones de razonamiento candidatas diversas ($N=5$) utilizando decodificación estocástica y plantillas de prompt distintas (por ejemplo, paso a paso, pensar en voz alta, socrático, descomposición, analógico).
2. Elicitación de Auto-Preferencia: El mismo modelo actúa como juez para determinar las preferencias pareadas entre sus propios outputs. Para reducir el costo computacional de $O(N^2)$ a $O(N)$, los autores muestrean un árbol de expansión aleatorio uniforme sobre los $N$ candidatos para cada ensayo, consultando solo los $N-1$ bordes.
3. Agregación de Preferencias:
   • Modelado Bradley-Terry: Las decisiones pareadas se modelan utilizando el marco Bradley-Terry (BT) con regularización $L_2$ para inferir las utilidades latentes $\theta_i$ de cada candidato.
   • Normalización PageRank: Las probabilidades de victoria pareadas inferidas se convierten en una matriz de transición, y se computa la distribución estacionaria (puntuación PageRank $\pi$) para producir un ranking global para ese ensayo.
   • Verificación de Robustez: También se implementa una variante de TrueSkill (calificación de habilidad bayesiana con actualizaciones ponderadas por confianza), la cual arroja resultados altamente similares.
4. Descomposición de la Incertidumbre: El proceso se repite para $M$ ensayos independientes (muestras de árboles de expansión). El conjunto de distribuciones de ranking resultante $\{\pi^{(m)}\}_{m=1}^M$ se descompone en dos componentes basados en la entropía:
   • Ambigüedad de Candidatos Intra-Ensayo ($StructU_{within}$): La entropía promedio de la distribución de ranking dentro de un solo ensayo. Valores altos indican que el modelo no puede distinguir con confianza entre los candidatos incluso dentro de un conjunto de comparación único.
   • Inestabilidad de Ranking Entre-Ensayos ($StructU_{across}$): La diferencia entre la entropía total del ranking medio y la entropía promedio intra-ensayo. Valores altos indican que el ranking preferido del modelo fluctúa significativamente dependiendo del conjunto específico de comparaciones (árbol de expansión) muestreado.

2. Integración con la Autoconsistencia

El marco combina la incertidumbre estructural con la Incertidumbre de Autoconsistencia estándar (entropía de la distribución de respuestas). Los autores proponen una regla de fusión empírica fija:

• $StructU_{across}$ se correlaciona negativamente con la precisión (inestabilidad $\to$ fallo), por lo que se suma a la entropía de Autoconsistencia.
• $StructU_{within}$ se correlaciona positivamente con la precisión en tareas de razonamiento (ambigüedad entre rutas plausibles), por lo que se resta de la entropía de Autoconsistencia.

Contribuciones Clave

1. Un Marco de Consistencia Post-Hoc: Un método agnóstico al modelo para cuantificar la consistencia del razonamiento mediante la estabilidad de los rankings de auto-preferencia, proporcionando una señal complementaria a la dispersión de la salida.
2. Descomposición Estructural: La descomposición de la incertidumbre en inestabilidad entre-ensayos (que señala un razonamiento poco fiable) y ambigüedad intra-ensayo (que señala caminos plausibles competitivos), derivada mediante Bradley-Terry/TrueSkill y PageRank.
3. Análisis de Regímenes: Una caracterización de cuándo las señales estructurales son informativas frente a cuándo colapsan. El artículo identifica un "límite de régimen" donde la evaluación de la consistencia a nivel de razonamiento deja de ser informativa.

Resultados Experimentales

El marco fue evaluado a través de cinco LLMs (incluyendo Claude 4.5 Sonnet, DeepSeek R1, GPT-OSS 20B, Amazon Nova Premier, Qwen 3 32B) y ocho benchmarks (Math-Synth, MATH-500, AMC-23, AIME-24/25, MMLU-Pro, TruthfulQA, HotpotQA).

1. Complementariedad en Tareas de Razonamiento

En benchmarks de razonamiento matemático y lógico (ej. Math-Synth, MATH-500, AMC-23), la combinación de la incertidumbre estructural con la autoconsistencia mejora significativamente la identificación de instancias de razonamiento poco fiables (medido por el AUC de Predicción Selectiva y AUROC).

• Ganancias de Rendimiento: El estimador híbrido ($StructU + SelfConsU$) alcanzó el rendimiento más alto o el segundo más alto en la mayoría de las tareas de razonimiento, con ganancias de hasta un +13.4% para modelos más débiles en problemas de concurso difíciles.
• Correlación con la Precisión:
  • La inestabilidad entre-ensayos mostró una fuerte correlación negativa con la corrección (la inestabilidad señala el fallo).
  • La ambigüedad intra-ensayo mostró una correlación positiva con la corrección en tareas matemáticas, consistente con escenarios donde existen múltiples rutas de solución válidas.

2. Colapso en Tareas de Recuperación

En tareas de recuperación factual (específicamente HotpotQA), la señal estructural colapsó.

• Observación: Tanto las preguntas correctas como las incorrectas exhibieron una incertidumbre entre-ensayos cercana a cero y una incertidía intra-ensayo cercana al máximo (distribuciones PageRank uniformes).
• Mecanismo: La recuperación factual sobre documentos fijos provoca cadenas de razonamiento estructuralmente homogéneas independientemente de la plantilla de prompt. Los juicios de auto-preferencia del modelo se vuelven indistinguibles (lanzamiento de moneda), haciendo que la señal estructural sea inútil.
• Implicación: En este régimen, los métodos basados en la dispersión (como la Autoconsistencia o la Dispersión Semántica) superan al enfoque estructural. El colapso mismo sirve como una firma diagnóstica que indica la ausencia de diversidad de razonamiento a nivel estructural.

3. Ablación y Validación

• Aleatorización: Reemplazar las auto-preferencias reales con comparaciones aleatorias causó que el AUROC cayera casi a niveles de azar, confirmando que la señal depende de las preferencias genuinas del modelo y no de artefactos del pipeline.
• Robustez del Backend: Los backends de Bradley-Terry y TrueSkill produjeron rankings consistentes ($\rho > 0.95$), validando la descomposición como una propiedad de la distribución de ranking y no como una elección específica del modelo.

Significado y Reivindicaciones

El artículo sostiene que la Incertidumbre Estructural debe entenderse no como un estimador de confianza universal, sino como un evaluador sensible al régimen de la consistencia del razonamiento lógico.

• Reencuadre de la Evaluación: Cambia la pregunta de "¿Qué tanto difieren las respuestas?" (dispersión) a "¿Qué tan consistentemente clasifica el modelo las soluciones de razonamiento en competencia?" (estructura).
• Utilidad Diagnóstica: El marco proporciona un diagnóstico práctico para los usuarios. La "firma de HotpotQA" (incertidumbre entre-ensayos cercana a cero + alta entropía intra-ensayo) indica un régimen de tarea donde la evaluación de la consistencia a nivel de razonamiento es fútil, sugiriendo un cambio hacia métodos basados en la dispersión.
• Limitaciones: Los autores señalan modestamente que el método aumenta el costo de inferencia ($N \times M$ comparaciones) y que las auto-preferencias heredan sesgos específicos del modelo. La descomposición es empírica y observable bajo un protocolo fijo, no una identificación fundamental de la incertidumbre de los datos subyacentes. El método es más efectivo cuando las respuestas difieren en calidad de razonamiento; falla cuando la variación es puramente estilística o cuando la estructura de la tarea (ej. recuperación determinista) suprime la diversidad del razonamiento.

En conclusión, el artículo demuestra que medir la estabilidad del orden de preferencia interno de un modelo sobre sus propios outputs proporciona una visión crítica y complementaria de la fiabilidad del razonamiento, particularmente para detectar errores sistemáticos que el acuerdo a nivel de respuesta por sí solo no puede revelar.