Resumen Técnico: Auditorías de Anclaje Intervencionista para la Cadena de Pensamiento de LLM

Planteamiento del Problema

Los Modelos de Lenguaje de Gran Escala (LLMs) frecuentemente generan Cadenas de Pensamiento (CoT) que parecen lógicamente sólidas, pero que no dependen genuinamente de las premisas que afirman utilizar. Mientras que los métodos de evaluación pasivos (por ejemplo, autocoherencia, análisis de atención) pueden verificar la corrección de la respuesta o la estabilidad de la salida, no pueden distinguir entre una dependencia lógica genuina y una mera correlación. En consecuencia, los modelos pueden producir escenarios de "Respuesta Correcta, Razonamiento Erróneo" (RAWR, por sus siglas en inglés: Right Answers, Wrong Reasoning), donde se alcanza una conclusión correcta a pesar de que los pasos intermedios son insensibles a las premisas específicas requeridas por el árbol de prueba de la verdad fundamental. Este artículo aborda la necesidad de una prueba de caja negra a nivel de paso para verificar si un paso de razonamiento depende causalmente de sus premisas declaradas.

Metodología: Auditorías de Anclaje Intervencionista

Los autores proponen las Auditorías de Anclaje Intervencionista, un protocolo de caja negra que interviene en las premisas de entrada para observar los cambios en los pasos de razonamiento. El método opera en dos capas: una capa de observación (texto bruto del LLM) y una capa de concepto (proposiciones normalizadas).

1. Protocolo Central

Para un problema dado con premisas $\{P_1, \dots, P_k\}$ y una CoT con pasos $\{S_1, \dots, S_n\}$, la auditoría prueba la dependencia del paso $S_i$ respecto a la premisa $P_j$ mediante Sustitución de Predicados:

• Sonda Semántica: El predicado objetivo en una premisa se reemplaza con un símbolo nuevo e inventado (por ejemplo, reemplazar "tumpus" con "zqfumpus").
• Sonda de Superficie (Control): La premisa se parafrasea sin alterar el contenido lógico (por ejemplo, "Todos los X son Y" $\to$ "Cada X es un Y") para distinguir la dependencia lógica de la sensibilidad superficial.
• Normalización: Las conclusiones de los pasos se analizan en formas canónicas (por ejemplo, is(e, p) o subtype(p1, p2)) para filtrar variaciones de fraseo irrelevantes.

2. Estrategias de Sustitución

• Sustitución Consistente: Reemplaza el predicado en todas las premisas. Esto preserva la coherencia de la cadena y detecta dependencias determinantes de predicados.
• Sustitución Local: Reemplaza el predicado solo en la premisa objetivo $P_j$. Esto rompe la cadena para detectar dependencias transitivas, incluyendo premisas estructurales (por ejemplo, introducciones de entidades), pero conlleva el riesgo de falsos positivos en cascada.

3. Filtrado de Cascada

Para abordar los falsos positivos en la sustitución local (donde un cambio en $P_j$ se propaga a todos los pasos descendentes $S_{i+1} \dots S_n$), se aplica un filtro de cascada. Si el paso $S_{i-1}$ ya se determinó como anclado respecto a $P_j$, entonces $S_i$ se reclasifica como un efecto de "CASCADA" en lugar de una dependencia directa, recuperando la precisión mientras se mantiene la exhaustividad (recall).

4. Sistema de Veredicto

Cada par $(S_i, P_j)$ recibe un veredicto de cinco valores:

• ANCLADO (GROUNDED): La conclusión cambia bajo la sonda semántica pero no bajo la sonda de superficie.
• INSENSIBLE (INSENSITIVE): La conclusión permanece sin cambios a pesar de que la premisa es citada.
• SENSIBLE A LA ENTRADA (INPUT-SENSITIVE): La conclusión cambia bajo ambas sondas.
• INESTABLE (UNSTABLE): La conclusión cambia solo bajo la sonda de superficie.
• NO ANALIZABLE (UNPARSEABLE): Fallo en el análisis sintáctico.

Contribuciones Clave

1. Protocolo Intervencionista: Un novedoso método de caja negra para detectar dependencias causales a nivel de premisa con una puntuación F1 de 0.806 (superando significativamente a la autocoherencia con un F1 = 0.343).
2. Detección de Doble Estrategia: La combinación de estrategias de sustitución consistente y local, junto con el filtrado de cascada, logra el mayor rendimiento (F1 = 0.819), distinguiendo entre dependencias directas y transitivas.
3. Evaluación Verificable por Artefactos: Un marco totalmente reproducible donde cada certificado de auditoría incluye las salidas originales y sondeadas con sumas de verificación SHA256, verificadas por un validador automatizado.
4. Identificación de RAWR: El método identifica que el 66% de los problemas resueltos correctamente contienen al menos un paso que es insensible a una dependencia directa del árbol de prueba (específicamente involucrando premisas de introducción de entidades), una señal invisible para los métodos pasivos.

Resultados Experimentales

Evaluado en ProntoQA (50 problemas deductivos sintéticos de múltiples saltos) utilizando GPT-4o (temperatura 0):

• Rendimiento: El método logra un F1 = 0.806 en todas las dependencias y un F1 = 0.885 en dependencias determinantes de predicados (Recall = 100%).
• Comparación con Línea Base: La autocoherencia logra solo un F1 = 0.343, fallando principalmente en precisión (0.226) porque no puede identificar qué premisas dependen de un paso.
• Tasa de RAWR: 33 de los 50 problemas resueltos correctamente (66%) exhibieron el fenómeno RAWR. Todos estos casos involucraron premisas de introducción de entidades estructurales, un punto ciego conocido para la sustitución consistente por sí sola.
• Validación Cruzada de Modelos: Al aplicarse a Claude Sonnet 4.5, la auditoría logró un F1 = 0.872 con precisión perfecta (P = 1.000), confirmando la transferibilidad del método, aunque la tasa de RAWR se saturó debido al estilo uniforme de reformulación del modelo.
• Ablación: El filtro de cascada fue crítico, mejorando la precisión de 0.604 a 0.756 al corregir los falsos positivos inducidos por la propagación.

Significado y Reivindicaciones

El artículo afirma proporcionar la primera prueba causal a nivel de paso para la dependencia de premisas en el razonamiento de LLM. A diferencia de trabajos previos que se centran en el acuerdo de respuestas o la intervención en representaciones internas, este enfoque interviene en las entradas para verificar el anclaje lógico.

• Detección de "Respuesta Correcta, Razonamiento Erróneo": El estudio revela que las altas puntuaciones de autocoherencia no garantizan la integridad lógica; los modelos pueden llegar a respuestas correctas mediante rutas de razonamiento que ignoran las premisas declaradas.
• Identificación de Puntos Ciegos: La auditoría expone una vulnerabilidad específica donde los modelos citan premisas de introducción de entidades (por ejemplo, "Rex es un bunpus") como justificación mientras permanecen lógicamente insensibles a ellas bajo la sustitución.
• Alcance y Limitaciones: Los autores reconocen que los resultados se validan actualmente en entornos sintéticos formales (ProntoQA). La generalización a benchmarks de lenguaje natural (por ejemplo, FOLIO, ProofWriter) requiere estrategias de normalización adaptadas. El tamaño del conjunto de datos (50 problemas) es modesto, aunque los intervalos de confianza de bootstrap confirman la significancia estadística.
• Reproducibilidad: Todos los datos, incluyendo las salidas brutas del modelo, los certificados de auditoría y los scripts de reproducción, están disponibles públicamente, lo que permite la verificación independiente sin acceso a la API.

El trabajo extiende un marco de anclaje de dos capas, utilizado previamente para la seguridad de agentes, al dominio de la integridad del razonamiento, ofreciendo una herramienta rigurosa para auditar la fidelidad lógica de la generación de CoT en LLMs.