Resumen Técnico: ¿Uso de Habilidades o Teatro de Habilidades? Evaluando el "Reasoning Backroom" en Agentes de Lenguaje Aumentados con Habilidades

Definición del Problema

Las habilidades reutilizables se han convertido en una interfaz estándar para extender los agentes de Modelos de Lenguaje Grande (LLM) con procedimientos de tareas, empaquetado de instrucciones y guía de verificación para la invocación en tiempo de inferencia. Los paradigmas de evaluación actuales dependen de un "Reasoning Front Room" (Sala de Estar del Razonamiento): trazas de razonamiento visibles, citas a procedimientos recuperados y atribuciones del agente sobre qué habilidades fueron utilizadas. Sin embargo, estas señales observables solo indican lo que un agente parece usar, no si la habilidad influyó causalmente en la decisión.

El artículo identifica una brecha entre el uso declarado de la habilidad y la influencia medida mediante intervención, denominada Reasoning Backroom (Cuarto de Trastienda del Razonamiento). Este fenómeno se manifiesta de varias maneras:

• Absorción Silenciosa (Silent Uptake): Una habilidad cambia la respuesta pero permanece sin ser reconocida.
• Uso Performativo (Performative Use): Se cita una habilidad a pesar de que esta no tiene ningún efecto en la decisión.
• Lavado de Habilidades (Skill Laundering): En sistemas multi-agente (MAS), la influencia se propaga a través del equipo, pero la atribución final no logra recuperar el par correcto de habilidad-fuente.
• Desajuste entre Procedimiento e Identidad (Procedural vs. Identity Mismatch): Los agentes pueden seguir el contenido procedimental pero ignorar la identidad de la habilidad mostrada, o viceversa.

La pregunta central de investigación es si el "front room" revela fielmente qué habilidad influyó en una decisión, o si los agentes exhiben un "Reasoning Backroom" sistemático donde la procedencia declarada diverge de la dependencia causal.

Metodología: Backtrace y BackroomBench

Para abordar esto, los autores introducen Backtrace, un marco de evaluación causal que pone a prueba el uso de habilidades alegado frente a la influencia medida por intervención, sin requerir acceso a los mecanismos internos del modelo.

El Protocolo Backtrace

1. Ejecución por Pares: Para cada instancia de tarea, el sistema genera una decisión con una habilidad específica ($s_v$) y una decisión contrafactual emparejada sin la habilidad ($s_\emptyset$), manteniendo fijo todo el contexto de ejecución (modelo, prompt, política de decodificación, organización).
2. Atribución Post-Decisión: El agente compromete su respuesta y su traza de razonamiento antes de ser consultado para la atribución. Esto evita que la solicitud de atribución altere la decisión que se pretende describir.
3. Diseño de Intervención: El marco emplea siete condiciones de habilidad:
   • Ninguna (None): No se proporciona ninguna habilidad (línea base).
   • Correcta (Correct): Procedimiento de dominio válido.
   • Paráfrasis (Paraphrase): Reescritura que preserva el significado.
   • Engañosa (Misleading): El andamiaje se preserva pero las reglas están corrompidas (por ejemplo, permitiendo la aplicación inversa).
   • Intercambio de Nombre (Name Swap): Procedimiento correcto mostrado bajo un nombre diferente.
   • Intercambio de Contenido (Content Swap): Diferente procedimiento mostrado bajo el nombre correcto.
   • Irrelevante (Irrelevant): Procedimiento completo de un dominio diferente.
4. Métricas:
   • Dependencia (Reliance, $r_v$): Indicador binario de si la decisión cambió tras la eliminación de la habilidad ($d_v \neq d_\emptyset$).
   • Utilidad con Signo (Signed Utility, $u_v$): Si el cambio ayudó o perjudicó la decisión.
   • Fidelidad de Atribución (Attribution Fidelity): Mide la alineación entre el uso alegado ($a_v$) y la dependencia real ($r_v$).
   • Brecha del Backroom (Backroom Gap, $\Gamma$): La tasa de desacuerdo entre el uso declarado y la dependencia causal.
   • Métricas Distribuidas: En MAS, las métricas rastrean la propagación trans-agente (CAP), el lavado (LR) y la falsa procedencia (FPR).

BackroomBench

El marco se instancia como BackroomBench, un banco de pruebas verificado que comprende:

• 300 Problemas de Lógica Controlada: Problemas de taxonomía tipo PrOntoQA con pruebas verificadas y cadenas de respuestas incorrectas construidas.
• 283 Problemas de Matemáticas Naturales: Problemas de competencia MATH-500 para probar la generalización a dominios no estructurados.
• Modelos: 12 variantes que incluyen familias de Qwen2.5, DeepSeek-R1-Distill, y GPT-4.1/5/5.4 (desde nano hasta 32B).
• Organizaciones: Entornos de un solo agente y multi-agente (con estructura de roles).

Resultados Clave

1. Un Pervasivo Reasoning Backroom

A través de todos los modelos y dominios, existe una brecha significativa entre el uso de habilidades declarado y la dependencia causal.

• Afirmaciones Estables, Dependencia Variable: Los agentes a menudo alegan usar una habilidad con alta frecuencia (por ejemplo, tasas de atribución del 98–100%) incluso cuando la dependencia causal es baja o nula.
• Absorción Silenciosa y Uso Performativo: Los modelos frecuentemente absorben habilidades silenciosamente (cambiando las respuestas sin alegarlas) o performativamente (alegando habilidades que no hacen nada).
• Generalización: Este fallo persiste en las tareas de matemáticas naturales, lo que indica que no es un artefacto de las construcciones lógicas sintéticas.

2. Determinantes de la Influencia de la Habilidad

• Dominancia del Contenido Procedimental: Los efectos conductuales siguen el contenido procedimental de la habilidad en lugar de su identidad mostrada o su redacción. Intercambiar el contenido bajo el nombre correcto rompe el efecto conductual, mientras que intercambiar el nombre lo preserva.
• Ejecución Específica del Modelo: El mismo contenido de habilidad puede ser útil, perjudicial o neutral dependiendo de la ejecución del modelo. Por ejemplo, las habilidades "Engañosas" causaron un daño sistemático en GPT-5-mini, pero fueron mayormente neutrales en otros modelos.

3. Fallo de Procedencia Multi-Agente

• Lavado de Habilidades (Skill Laundering): En MAS, la influencia de la habilidad suele propagarse a la decisión final del equipo incluso cuando la habilidad de origen se elimina del agente designado. Sin embargo, el equipo frecuentemente falla al identificar el par habilidad-fuente correcto después de la intervención.
• Falsa Procedencia: Los equipos que no cuentan con ninguna habilidad suministrada nombran habilidades y fuentes que nunca fueron proporcionadas, construyendo narrativas de procedencia plausibles pero sin sustento.
• Efectos de Organización: La organización del equipo puede amplificar o atenuar la sensibilidad a las habilidades, pero no resuelve consistentemente los problemas de procedencia.

4. Limitaciones de los Detectores Observacionales

Las señales observacionales (afirmaciones de atribución explícitas, menciones de texto, similitud de trazas y jueces de LLM) fallan al identificar de manera fiable la dependencia causal.

• Precisión vs. Exhaustividad (Precision vs. Recall): Los detectores basados en trazas visibles o bien marcan casi todas las ejecuciones (alta exhaustividad, baja precisión) o pasan por alto la mayoría de los eventos de dependencia.
• Sin Solución de Ejecución Única: Sin un contrafactual emparejado (intervención), es imposible determinar si una decisión específica dependió de una habilidad basándose únicamente en la traza visible.

Significancia y Reivindicaciones

El artículo establece el Reasoning Backroom como un problema general de procedencia en la IA. Sus principales reivindicaciones son:

1. Brecha de Fidelidad: El razonamiento observable y el uso declarado de habilidades no identifican fielmente la magnitud, dirección o fuente de la influencia de la habilidad sin intervención.
2. Necesidad de Intervención: Auditar la procedencia de la ejecución requiere intervención (contrafactuales emparejados) en lugar de la mera observación de trazas o métricas de rendimiento.
3. Procedencia vs. Explicación: El trabajo distingue entre la fidelidad de CoT (si una racionalización refleja el proceso de predicción) y la procedencia de la habilidad (si un artefacto externo cambió la decisión). Estos son modos de fallo independientes; una traza fiel puede apoyar una procedencia falsa, y una traza engañosa puede acompañar a una procedencia correcta.
4. Requisitos de Auditoría: Los hallazgos sugieren que los benchmarks de evaluación actuales, centrados en la finalización de tareas o la precisión de la recuperación, son insuficientes. Validar las capacidades de los agentes requiere probar si las atribuciones declaradas coinciden con los efectos causales definidos por intervención.

Los autores concluyen que el Reasoning Backroom es una propiedad omnipresente de la atribución de habilidades en tareas controladas y naturales, lo que exige un cambio de la auditoría observacional hacia un análisis causal basado en la intervención para garantizar una procedencia confiable en los agentes.