Resumen Técnico: Escaneo de Consistencia del Razonamiento

Declaración del Probleo

El razonamiento de cadena de pensamiento (CoT, por sus siglas en inglés) se ha convertido en un mecanismo primordial para interpretar las evaluaciones de seguridad de la IA, donde los trazos de razonamiento se tratan como evidencia de una deliberación genuina, reconocimiento de restricciones o alineación. Sin embargo, existe una brecha crítica en la capacidad de auditar estas transcripciones post-hoc. Investigaciones previas sobre la fidelidad de la CoT han demostrado que los modelos a menudo producen un razonamiento que no refleja su proceso computacional interno (por ejemplo, actuando sobre información no mencionada o negando la dependencia de características específicas). No obstante, detectar la fidelidad requiere intervenciones experimentales controladas —como la inyección de pistas o la perturbación de la entrada— que son imposibles de aplicar a las transcripciones de evaluación existentes.

Esto crea una amenaza a la validez de constructo: si el razonamiento declarado por un modelo está desacoplado de su respuesta final, las evaluaciones de seguridad que dependen de los trazos de razonamiento como evidencia podrían estar midiendo propiedades que el modelo no posee realmente. El artículo aborda la cuestión más tratable, aunque distinta, de la consistencia del razonamiento: ¿Se conecta lógicamente el razonamiento declarado con la salida final como texto observable? A diferencia de la fidelidad, la consistencia puede evaluarse a partir de las transcripciones sin intervención experimental.

Metodología

Definición y Taxonomía

Los autores formalizan la consistencia del razoniento como la coherencia lógica entre el trazo de razonamiento y la respuesta final, distinguiéndola explícitamente de la corrección factual. Definen una taxonomía de seis subtipos de inconsistencia, aplicada mediante un procedimiento de decisión ordenado para evitar la clasificación errónea:

1. Razonamiento Ausente: El campo de razonamiento contiene texto (por ejemplo, reiteraciones, preámbulos genéricos) que no interactúa con la pregunta.
2. Razonamiento Contradictorio: El razonamiento argumenta a favor de direcciones internamente incompatibles.
3. Confusión Aparente: El razonamiento es incoherente y no logra construir hacia ninguna conclusión (distinto de la contradicción).
4. Reversión de Razonamiento: El razonamiento concluye en una dirección, pero la respuesta se compromete con una dirección significativamente diferente.
   dispensable.
5. Abandono de Razonamiento: El razonamiento plantea consideraciones específicas que la respuesta final ignora.
6. Razonamiento Perentorio: El razonamiento está presente pero es demasiado tenue para producir plausiblemente la respuesta específica y comprometida.

Nota: La incertidumbre, la vacilación y el razonamiento exploratorio que se asienta en una conclusión se excluyen explícitamente de la inconsistencia.

La Herramienta de Escaneo (Scanner)

Los autores implementaron el Escaneo de Consistencia del Razonamiento utilizando InspectScout, una herramienta de código abierto para analizar transcripciones de agentes de IA. El escáner utiliza una arquitectura de LLM como juez (específicamente Claude Opus 4.6, seleccionado tras realizar pruebas comparativas contra DeepSeek V4 Flash y Claude Haiku 4.5 por su superioridad en la salida estructurada y recuperación de información).

• Entrada: Una transcripción que contiene un prompt de sistema, una pregunta, un trazo de razonamiento y una respuesta final.
• Salida: Una clasificación estructurada que incluye una etiqueta de consistencia (consistente/inconsistente/no aplicable), una etiqueta de subtipo, una calificación de confianza, resúmenes y una justificación.
• Restricciones: El escáner está estrictamente limitado a evaluar la conexión lógica; no evalúa la corrección factual ni infiere procesos internos del modelo.

Construcción del Benchmark

Para validar el escáner, los autores construyeron un benchmark sintético de 60 transcripciones etiquetadas derivadas de InstrumentalEval.

• Ejemplos consistentes: Transcripciones naturalistas sin modificaciones.
• Ejemplos inconsistentes: Transcripciones reales modificadas quirúrgicamente para introducir subtipos específicos de inconsistencia.
• Validación: El escáner logró un F1 score general de 0.82 en el benchmark. El rendimiento fue mayor para Reversión de Razonamiento, Razonamiento Perentorio y Razonamiento Ausente, mientras que la Contradicción de Razonamiento y la Confusión Aparente resultaron más difíciles de detectar.

Configuración Experimental

El escáner validado se aplicó a transcripciones de tres evaluaciones relevantes para la seguridad en la librería inspect evals, generadas por cuatro modelos (Gemini 3.1 Pro, GPT 5.4, DeepSeek V4 Pro y gpt-oss-120b).

• InstrumentalEval: Evalúa la convergencia instrumental (autopreservación, búsqueda de poder, engaño).
• MORU: Evalúa el razonamiento de incertidumbre moral (formato de respuesta abierta).
• Agente Desalineado (Agentic Misalignment): Evalúa comportamientos agénticos dañinos (escenario de empresa simulado).
• SAD (Conciencia Situacional): Evalúa el conocimiento del contexto de despliegue (formato de opción múltiple).

Nota: GPT 5.4 fue excluido de los resultados finales porque sus configuraciones de API por defecto no exponían los tokens de razonamiento brutos, sino solo resúmenes cifrados, lo que hacía imposible el escaneo de consistencia sin una regeneración costosa.

Resultados Clave

El estudio encontró que la inconsistencia del razonamiento está presente, es detectable y varía sistemáticamente entre modelos y tipos de tareas.

1. Prevalencia: Las tasas de inconsistencia oscilaron entre el 0.0% y el 26.0% en todas las configuraciones.
2. Divergencia por Tipo de Tarea: Se observó una fuerte divergencia entre los formatos de tarea. Los subconjuntos de SAD (opción múltiple) exhibieron tasas de inconsistencia significativamente más altas (por ejemplo, hasta el 26.0% para Gemini 3.1 Pro en sad stages full) en comparación con MORU (abierto), que mostró tasas consistentemente bajas (mayormente <1.0%). Los autores hipotetizan que el formato restringido de opción múltiple induce a los modelos a tratar el razonamiento como una formalidad, llevando a un razonamiento perentorio o ausente.
3. Variabilidad de los Modelos: Ningún modelo exhibió una inconsistencia uniformemente alta o baja. Por ejemplo, DeepSeek V4 Pro fue altamente inconsistente en tareas SAD pero bajo en MORU, mientras que gpt-oss-120b mostró el patrón inverso. Esto sugiere que la inconsistencia es impulsada por interacciones tarea-modelo en lugar de ser un rasgo general del modelo.
4. Subtipos Dominantes: El razonamiento perentorio y el razonamiento ausente fueron los subtipos dominantes en todo el conjunto de datos, particularmente en tareas de opción múltiple.

Significado y Reivindicaciones

El artículo afirma introducir el primer escáner de consistencia de CoT de propósito general y la primera aplicación de tal análisis a las transcripciones de evaluación de seguridad. Sus principales contribuciones son:

• Metodológica: Una distincción formal entre fidelidad (que requiere intervención) y consistencia (detectable post-hoc), proporcionando una nueva métrica para auditar corpus de evaluación existentes.
• Herramientas: Un escáner reutilizable y validado implementado en InspectScout que señala el razonamiento desacoplado en las evaluaciones de seguridad.
• Evidencia Empírica: La demostración de que la inconsistencia del razonamiento es un fenómeno real en las evaluaciones de seguridad naturalistas, particularmente en formatos de opción múltiple, lo que socava la validez de usar los trazos de razonamiento como evidencia de propiedades relevantes para la seguridad.

Los autores concluyen que cuando el razonamiento y la salida están desacoplados, el resultado de la evaluación no puede ser confiable, y el monitoreo de CoT se vuelve poco fiable. Este trabajo proporciona una herramienta sistemática para identificar estas amenazas a la validez en los registros de auditoría de seguridad existentes.