💬 NLP

Diagnosing Multi-step Reasoning Failures in Black-box LLMs via Stepwise Confidence Attribution

Este artículo presenta la Atribución de Confianza Paso a Paso (SCA), un marco para diagnosticar fallos en el razonamiento de múltiples pasos en LLMs de caja negra mediante la aplicación del principio del Cuello de Botella de la Información para asignar puntuaciones de confianza a nivel de paso basadas en estructuras de consenso, lo que permite una autocorrección más efectiva que la retroalimentación tradicional a nivel de respuesta.

Autores originales: Xiaoou Liu, Tiejin Chen, Dengjia Zhang, Yaqing Wang, Lu Cheng, Hua Wei

Publicado 2026-05-20

📖 4 min de lectura☕ Lectura para el café

CC BY 4.0

Autores originales: Xiaoou Liu, Tiejin Chen, Dengjia Zhang, Yaqing Wang, Lu Cheng, Hua Wei

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que le pides a un amigo muy inteligente, pero ligeramente disperso, que resuelva un problema matemático complejo o responda una pregunta difícil. No solo te da la respuesta final; escribe todo su proceso de pensamiento, paso a paso, como un detective resolviendo un caso.

El Problema:
A veces, tu amigo obtiene la respuesta correcta por accidente, o se equivoca porque cometió un pequeño error en medio de su lógica. El problema es que, cuando te entrega el resultado final, no puedes determinar fácilmente dónde se equivocó. ¿Falló en el primer paso? ¿En el último? ¿O simplemente tuvo suerte?

Los métodos actuales son como preguntarle a tu amigo: «¿Lo obtuviste bien?». Solo pueden decir «Sí» o «No» sobre la respuesta final. No pueden señalar la frase específica en su cuaderno donde la lógica se rompió.

La Solución: Atribución de Confianza Paso a Paso (SCA)
Los autores de este artículo crearon una nueva herramienta llamada Atribución de Confianza Paso a Paso (SCA). Piensa en esto como un «Detective de Lógica» que lee las notas paso a paso de tu amigo y coloca una puntuación de confianza junto a cada oración individual.

Alta Confianza (Marca de Verificación Verde): «Este paso parece sólido. Coincide con lo que otras personas inteligentes suelen hacer para resolver este problema».
Baja Confianza (Bandera Roja): «Espera un momento. Este paso parece extraño. No encaja con el patrón de una solución correcta. Es probable que aquí haya ocurrido el error».

¿Cómo Funciona? (La Analogía del «Consenso»)
El ingrediente secreto es algo llamado Consenso. Imagina que le pides a 20 amigos inteligentes diferentes que resuelvan el mismo problema.

Aunque puedan escribir sus pasos en un orden diferente o usar palabras distintas, las soluciones correctas compartirán algunos «hitos» o «anclas» clave. Por ejemplo, en un problema matemático, todos deben calcular el costo de los lápices antes de calcular el total.
El sistema del artículo examina las 20 soluciones. Encuentra el «terreno común»: los pasos en los que todos los que lo resolvieron correctamente estuvieron de acuerdo.
Si la solución de tu amigo sigue estos hitos comunes, el sistema les asigna una puntuación de confianza alta.
Si tu amigo toma un desvío extraño o salta un hito necesario, el sistema lo marca como de baja confianza.

Las Dos Herramientas que Construyeron
El artículo presenta dos formas de realizar esta «detección»:

NIBS (El «Emparejador de Palabras»): Esta es una herramienta simple y rápida. Solo examina las palabras y el significado de cada paso. Si un paso suena como los pasos del grupo «correcto», recibe una puntuación alta. Es como verificar si una oración en una receta coincide con los pasos de mil otras recetas exitosas.
GIBS (El «Lector de Mapas»): Esta es la herramienta sofisticada y avanzada. No solo examina las palabras; examina la estructura de la lógica. Convierte el razonamiento en un mapa (un gráfico) donde los pasos están conectados por flechas que muestran cómo uno lleva al siguiente. Luego encuentra el «mapa común» compartido por todas las soluciones correctas. Si el mapa de tu amigo tiene un puente que no existe en el mapa común, GIBS lo marca. Esto es mejor para problemas complejos donde el orden de los pasos importa mucho.

¿Por Qué Importa Esto? (La Magia de la «Autocorrección»)
El artículo muestra que esto no se trata solo de encontrar errores; se trata de corregirlos.

Antigua Forma: Le dices a tu amigo: «Tu respuesta final es incorrecta. Inténtalo de nuevo». A menudo solo adivinan diferente o cometen el mismo error nuevamente porque no saben por qué fallaron.
Nueva Forma: Le dices a tu amigo: «Tu respuesta final es incorrecta. Además, mira el Paso 3 y el Paso 5; nuestro sistema cree que esos pasos son inestables».
Resultado: Cuando el artículo probó esto, los modelos de IA pudieron corregir sus propios errores mucho mejor (hasta un 13,5 % más de éxito) cuando se les señalaban los pasos específicos débiles, en lugar de simplemente decirles que la respuesta final era incorrecta.

En Resumen
Este artículo nos ofrece una forma de mirar dentro de la «caja negra» del pensamiento de una IA sin necesidad de abrir la caja. Al comparar los pasos de razonamiento de una IA contra un «consenso» de soluciones correctas, el sistema puede identificar exactamente dónde se rompe la lógica. Esto convierte un vago «estás equivocado» en un útil «te desviaste por aquí», permitiendo que la IA aprenda de sus errores específicos y se corrija a sí misma.

Resumen Técnico: Diagnóstico de Fallos en el Razonamiento Multietapa en LLMs de Caja Negra mediante Atribución de Confianza Paso a Paso

1. Declaración del Problema

Los Modelos de Lenguaje Grande (LLMs) han demostrado un rendimiento sólido en tareas de razonamiento al generar soluciones paso a paso (por ejemplo, Cadena de Pensamiento). Sin embargo, diagnosticar dónde falla una traza de razonamiento multietapa sigue siendo un desafío significativo. Los enfoques existentes se dividen en dos categorías: clasificadores supervisados que requieren anotaciones humanas costosas, o métodos de LLM como juez que heredan sesgos e inconsistencias. Además, los métodos estándar de Estimación de Confianza (CE) suelen operar únicamente a nivel de respuesta final, proporcionando señales de fiabilidad gruesas que no logran identificar pasos erróneos específicos.

Un desafío crítico al extender la CE al entorno paso a paso es distinguir entre la variabilidad legítima (soluciones correctas que difieren en orden, expresión o detalle) y los errores de razonamiento reales. Las trayectorias de razonamiento correctas a menudo convergen en "invariantes lógicos" específicos (estados intermedios críticos), mientras que los errores representan desviaciones de este consenso. El artículo aborda la necesidad de una Atribución de Confianza Paso a Paso (SCA): un marco para LLMs de código cerrado (caja negra) que asigna puntuaciones de confianza a pasos individuales de razonamiento utilizando únicamente trazas generadas y etiquetas de corrección de la respuesta final, sin requerir acceso interno al modelo ni anotaciones a nivel de paso.

2. Metodología

Los autores proponen un marco basado en el principio del Cuello de Botella de Información (IB). La intuición central es comprimir la trayectoria de razonamiento de entrada descartando variaciones no esenciales mientras se retiene la máxima información sobre el patrón de razonamiento correcto subyacente.

El marco define la entrada $X$ como una trayectoria de razonamiento, la representación comprimida $Z$ como una trayectoria con pesos de confianza en sus pasos, y el objetivo $Y$ como la señal de corrección. El objetivo es minimizar $I(X; Z) - \beta I(Z; Y)$ , fomentando la selección de un subconjunto disperso de pasos que sean altamente relevantes para la corrección.

El artículo introduce dos instanciaciones complementarias de este principio:

A. IB No Paramétrico para Confianza Paso a Paso (NIBS)

NIBS es un enfoque sin entrenamiento y de forma cerrada. Asume que los pasos que aparecen consistentemente en soluciones correctas son los más informativos.

Mecanismo: Agrega múltiples trazas de solución de soluciones correctas para formar "anclas de consenso".
Puntuación: Para un paso dado en una trayectoria, la confianza se calcula midiendo su similitud semántica con los pasos del conjunto de trayectorias correctas.
Implementación: Utiliza funciones de similitud semántica (por ejemplo, similitud coseno de incrustaciones de oraciones o implicación NLI) y estrategias de agregación (máximo o media) para calcular puntuaciones sin aprendizaje de parámetros.

B. IB Gráfico para Confianza Paso a Paso (GIBS)

GIBS aborda la limitación de NIBS de ignorar las dependencias estructurales entre pasos.

Representación: Las trazas de razonamiento se modelan como grafos dirigidos donde los nodos representan resultados intermedios y las aristas representan operaciones lógicas o subpreguntas.
Construcción de Consenso: Se construye un grafo de consenso ( $G_{MC}$ ) agregando los Subgrafos Comunes Máximos (MCS) entre los grafos candidatos y los grafos de soluciones correctas.
Aprendizaje: GIBS aprende una máscara diferenciable $p_\theta$ para seleccionar un subgrafo $G^*$ que se alinea con la estructura de consenso.
Optimización: El objetivo IB se aproxima mediante un enfoque variacional:
- Compresión: Minimizada mediante la divergencia KL entre la máscara predicha y un prior disperso (fomentando una selección binaria).
- Relevancia: Maximizada minimizando la Entropía Cruzada entre la máscara predicha y la máscara de consenso derivada de soluciones correctas.
Arquitectura: El modelo utiliza un codificador BERT para características semánticas de pasos y una Red de Convolución Gráfica (GCN) para el contexto estructural para predecir probabilidades de selección suaves.

3. Contribuciones Clave

Marco SCA: La introducción de la Atribución de Confianza Paso a Paso, el primer marco diseñado específicamente para LLMs de caja negra para proporcionar señales de fiabilidad detalladas a nivel de paso utilizando únicamente trazas generadas y etiquetas de respuesta final.
Formulación Basada en IB: La aplicación del principio del Cuello de Botella de Información a las trazas de razonamiento, formalizando la compensación entre comprimir la variabilidad de salida y retener invariantes lógicos.
Dos Métodos Novedosos:
- NIBS: Un método no paramétrico y sin entrenamiento que aprovecha el consenso semántico.
- GIBS: Un método basado en grafos y aprendible que captura dependencias estructurales y variabilidad lógica mediante la selección de subgrafos.
Utilidad Diagnóstica y Correctiva: Demostración de que las señales de confianza a nivel de paso no solo diagnostican errores, sino que también guían eficazmente la autocorrección, superando la retroalimentación a nivel de respuesta.

4. Resultados Experimentales

Los métodos se evaluaron en tres benchmarks: GSM8K (problemas de palabras matemáticas), Math (matemáticas de nivel competitivo) y MoreHopQA (QA multihop), utilizando tres LLMs (Llama-3.1-8B, Phi-4-Reasoning, DeepSeek-R1-Distill-Qwen-32B).

Precisión (RQ1): GIBS superó consistentemente a fuertes líneas base de caja blanca (por ejemplo, Entropía de Tokens, Probabilidad de Secuencia) y métodos adaptados de caja negra. En MoreHopQA, GIBS logró un AUROC de 0.8084 en DeepSeek, significativamente más alto que las líneas base. Las variantes de NIBS también lograron un rendimiento competitivo sin entrenamiento, demostrando la robustez de la alineación de consenso.
Autocorrección (RQ2): Utilizar la confianza a nivel de paso para guiar la autocorrección mejoró la tasa de éxito de corrección en hasta un 13.5% en comparación con el uso de solo retroalimentación a nivel de respuesta. Esto fue particularmente efectivo para modelos de razonamiento más fuertes que podían utilizar señales de error localizadas.
Ablación y Robustez (RQ3):
- Eliminar ya sea el codificador de aristas o el codificador de grafos en GIBS condujo a una caída significativa en el rendimiento, confirmando la necesidad de señales estructurales locales y globales.
- Generalización sin Etiquetas: El marco sigue siendo efectivo en entornos sin etiquetas cuando se utiliza "Autoconsistencia" (trayectorias pseudo-correctas por votación mayoritaria) para construir anclas de consenso, aunque el rendimiento se correlaciona con la calidad de las pseudo-etiquetas.
- Cambio de Dominio: GIBS entrenado en MoreHopQA (textual) se generalizó bien al conjunto de datos Math sin reentrenamiento, superando a NIBS y a las líneas base de caja blanca, lo que sugiere que el modelado basado en grafos captura patrones de razonamiento abstractos menos ligados al vocabulario específico del dominio.

5. Significado y Afirmaciones

El artículo afirma que SCA proporciona un mecanismo escalable y fiable para auditar LLMs de caja negra sin requerir acceso interno ni costosas anotaciones humanas. Al distinguir entre variabilidad legítima y errores reales a través de la lente de invariantes lógicos, el marco permite:

Diagnóstico Detallado: Identificar pasos específicos responsables de fallos en el razonamiento.
Mejora de la Fiabilidad: Guiar a los modelos hacia la autocorrección destacando pasos de baja confianza, mejorando así la precisión de la respuesta final.
Generalizabilidad: El enfoque es robusto a través de diferentes formatos de razonamiento (matemáticas vs. texto) y arquitecturas de modelos.

Los autores posicionan este trabajo como una "ayuda de auditoría para la supervisión humana" en lugar de un reemplazo del juicio humano, con el objetivo de mejorar la interpretabilidad y fiabilidad del razonamiento de LLM en escenarios de toma de decisiones de alto riesgo.