Resumen Técnico: Medición de la Confianza de Caja Negra mediante Trayectorias de Razonamiento

Declaración del Problema

La estimación fiable de la confianza es un prerrequisito para el despliegue seguro del razonamiento de Cadena de Pensamiento (CoT) a través de APIs de solo texto, donde no se tiene acceso a logit, estados ocultos o mecanismos de recuperación internos. La línea base de caja negra dominante, la autoconsistencia (muestrear $K$ CoT y utilizar la concentración de votos como señal de confianza), adolece de tres limitaciones principales:

1. Costo Lineal: Requiere muestrear $K$ trazas, lo que la hace linealmente costosa en función de $K$.
2. Ceguera Geométrica: Ignora la geometría interna de la traza de razonamiento, tratando la traza meramente como un medio para una respuesta final.
3. Resolución Discreta: Produce una puntuación de confianza discreta ($k/K$), que carece de resolución en valores pequeños de $K$ y no puede clasificar eficazmente los empates.

Este artículo investiga una señal alternativa: la trayectoria del propio CoT. Los autores proponen medir cómo la incrustación de una traza de razonamiento converge hacia anclajes de respuesta externos, con el objetivo de derivar una puntuación de confianza continua a partir del texto únicamente, sin acceso a los internos del modelo.

Metodología

El marco propuesto descompone la confianza de caja negra en tres canales complementarios: Cobertura (C), Geometría (G) y Verbalización (V).

1. El Canal Geométrico (G)

Este canal mide el "compromiso espacial dentro de la traza" de un CoT hacia un anclaje de respuesta externo.

• Construcción de la Trayectoria: Un CoT se incrusta como una trayectoria de ventanas deslizantes superpuestas ($W=30$ palabras, desplazamiento $S=15$) utilizando un modelo de incrustación fijo $\phi$.
• Anclajes Externos: En el protocolo ciego, el generador razona sin ver la lista de opciones. Los textos de las opciones se incrustan externamente como anclajes fijos.
• Puntuación: El método calcula la distancia coseno desde la ventana penúltima de la traza hacia cada anclaje de opción. La "elección" es el anclaje con la distancia media mínima.
• Calibración: Un modelo softmax de un parámetro mapea estas distancias a una probabilidad de confianza:
  $$\text{GEO}(q) = \frac{\exp(\hat{\beta}_{\text{all}} D_{\hat{y}})}{\sum_{j'} \exp(\hat{\beta}_{\text{all}} D_{j'})}$$
  donde $\hat{\beta}_{\text{all}}$ se ajusta mediante máxima verosimilitud. Un $\hat{\beta}$ fuertemente negativo indica que los anclajes más cercanos tienen más probabilidades de ser correctos.
• Selección de la Ventana Penúltima: El análisis empírico revela que la señal de calibración alcanza su punto máximo en la ventana penúltima. La ventana final a menudo contiene la verbalización literal de la respuesta, lo cual se alinea con la respuesta elegida por el modelo en lugar de la respuesta dorada, causando que la señal se invierta ($\hat{\beta}$ positivo) en benchmarks específicos como GPQA Diamond.

2. La Descomposición de Tres Canales

Para abordar el techo estructural donde una traza podría nunca alcanzar la hipótesis correcta, los autores introducen un régimen abierto con una configuración de Propositor/Juez:

• Cobertura (C): Un prior mediado por un juez que mide si la hipótesis correcta es alcanzable en absoluto. Utiliza un LLM proponente para generar un conjunto de hipótesis y un LLM juez para evaluar la alcanzabilidad. Esto actúa como una señal de dificultad de la pregunta.
• Geometría (G): Como se definió anteriormente, pero utilizando hipótesis generadas por el proponente como anclajes en lugar de opciones fijas del conjunto de datos.
• Verbalización (V): Se muestra al generador su propio CoT y se le pide que proporcione una autoevaluación numérica (0–100) de su confianza.

Fusión: Los tres canales se fusionan mediante una regresión logística para producir una puntuación de confianza final.

Contribuciones Clave

1. Puntuación de Confianza de Trayectoria de Caja Negra: Un método para mapear $(\text{texto}, \text{incrustador}, \text{conjunto de anclajes})$ a una puntuación de confianza continua utilizando un softmax de un parámetro sobre incrustaciones de ventanas deslizantes. El signo y la significancia de la pendiente ajustada ($\hat{\beta}$) se replican en tres incrustadores diferentes (Gemini, OpenAI, E5), tres razonadores y tres benchmarks.
2. Firma de Compromiso de Trazas Tardías: Los autores identifican una firma mecánica donde la señal geométrica es más profunda (más negativa $\hat{\beta}$) en la ventana penúltima y se invierte en la ventana terminal en GPQA Diamond. Esto valida la ventana penúltima como una posición de puntuación robusta que captura el compromiso con la respuesta antes de la verbalización literal.
3. Descomposición Asimétrica de Tres Canales:
   • Cobertura (C) y Geometría (G) portan señales independientes en casi todos los entornos (18/18 y 16/18 combinaciones, respectivamente).
   • Verbalización (V) contribuye con una señal residual única solo en 6/18 entornos, actuando como un canal metacognitivo gateado en lugar de un pilar universal.
   • La fusión de C+G+V en $K=4$ mejora en el sentido de Pareto la autoconsistencia en $K=8$ en los seis entornos de conjunto cerrado (mediana $\Delta \text{AUC} = +0.075$).

Resultados

El artículo evalúa el método en MedQA-USMLE, GPQA Diamond y MMLU-Pro utilizando Gemini 3.1 Pro y Claude Sonnet 4.6.

• Señal Geométrica: La única característica geométrica (G) logra un AUC de predicción selectiva de 0.71–0.82 en protocolos ciegos, superando significativamente a la autoconsistencia en 9/10 combinaciones de benchmark-modelo cuando se iguala el presupuesto.
• Ganancia por Fusión: La puntuación fusionada C+G+V en $K=4$ supera a la autoconsistencia en $K=8$ (SC@8) en los seis entornos de conjunto cerrado.
  • Mediana $\Delta \text{AUC} = +0.075$ (Stouffer $z = 5.67, p = 7.1 \times 10^{-9}$).
  • La ganancia persiste incluso cuando la respuesta elegida se fija a la elección por pluralidad de SC@8, confirmando que la mejora se debe a una mejor calibración y no al cambio de respuesta.
• Robustez:
  • Los resultados se mantienen a través de diferentes incrustadores (incluyendo E5-large-v2).
  • Cambiar el LLM juez (de GPT-5-mini a Claude Sonnet 4.6) deja el AUC solo de Geometría sin cambios ($|\Delta| \le 0.013$) y desplaza el AUC solo de Cobertura en un máximo de $\pm 0.02$, lo que indica que las señales no son artefactos de un solo proveedor.
  • El método es robusto al diseño de anclajes; el uso de anclajes de opciones del conjunto de datos es crítico, mientras que los anclajes derivados de la propia salida del modelo colapsan a un rendimiento cercano al azar.

Significado y Afirmaciones

El artículo afirma que la confianza de CoT de caja negra puede leerse de manera más fiable a partir de la convergencia geométrica de una traza en el espacio de incrustaciones que a partir del acuerdo de votos de muestra, logrando esto con un menor costo de muestreo y sin acceso a logit o estados ocultos.

Conclusiones clave enfatizadas por los autores:

• Estructura sobre Muestreo: La confianza es una señal estructurada compuesta por canales distintos (alcanzabilidad, compromiso, autoinforme) en lugar de un único escalar.
• Perspectiva Mecanística: La señal geométrica alcanza su punto máximo antes de que el modelo verbalice literalmente su respuesta, lo que sugiere que el "compromiso con la respuesta" es una fase distinta en la trayectoria de razonamiento que puede detectarse mediante la dinámica del espacio de incrustaciones.
• Eficiencia Práctica: Fusionar C+G+V en $K=4$ proporciona una mejor calibración que SC@8 mientras reduce el costo total de la API en aproximadamente 51% (debido a menos llamadas de generación y la eficiencia del paso de incrustación).
• Limitaciones: Los autores notan modestamente que el canal de Cobertura está mediado por un juez LLM (introduciendo posibles priores del juez), la Verbalización no es universalmente útil, y ninguna puntuación dentro de la traza puede recuperar una hipótesis correcta si el modelo nunca la propuso (el "techo estructural").

El trabajo proporciona un primitivo de confianza a nivel de traza para pipelines que requieren acceso de caja negra, habilitando la abstención más segura y la predicción selectiva en dominios de alto riesgo como el soporte a la toma de decisiones clínicas.