From Actions to Understanding: Conformal Interpretability of Temporal Concepts in LLM Agents

1. Problema Definido

Los Grandes Modelos de Lenguaje (LLM) se están desplegando cada vez más como agentes autónomos capaces de razonar, planificar y actuar en entornos interactivos (como simuladores físicos o de texto). Sin embargo, existe un desafío crítico de interpretabilidad temporal:

• Caja Negra: Aunque estos agentes pueden realizar tareas secuenciales complejas, los mecanismos internos que guían su comportamiento paso a paso permanecen opacos.
• Limitación de Métodos Actuales: Las técnicas tradicionales de interpretabilidad (visualización de atributos, autoencoders dispersos, ingeniería de representaciones) suelen operar sobre entradas estáticas o individuales. No capturan la dinámica temporal de un agente que toma decisiones basadas en un historial completo de observaciones y razonamientos previos.
• Fallo Oculto: Un agente puede completar una tarea con éxito final, pero haber cometido errores intermedios o "alucinaciones" que se recuperaron accidentalmente. Por el contrario, un fallo final puede ocultar pasos intermedios correctos. Sin una noción de éxito/fracaso a nivel de paso, es imposible detectar cuándo el razonamiento interno del modelo se desvía (drift) hacia modos de fallo.

2. Metodología Propuesta

Los autores proponen un marco de Interpretabilidad Conformal de Series Temporales que transforma la evaluación final de una tarea en un análisis de representaciones temporales paso a paso. El marco se basa en tres componentes clave:

A. Modelado de Recompensas Paso a Paso (Step-Wise Reward Modeling)

En lugar de depender únicamente de la recompensa final (escasa), el método genera recompensas densas para cada paso de la trayectoria:

• Se utiliza Muestreo Monte Carlo sobre el espacio de acciones del agente (basado en su política aprendida $\pi_\theta$) para predecir trayectorias futuras completas desde el estado actual.
• Esto permite calcular una recompensa esperada ($r_t$) para cada paso $t$, cuantificando la probabilidad de éxito futuro condicionada al estado actual.

B. Etiquetado Estadístico mediante Predicción Conformal

Para asignar etiquetas de "éxito" o "fracaso" a las representaciones internas con garantías estadísticas:

• Se emplea la Predicción Conformal Inductiva (ICP).
• Se definen puntuaciones de no conformidad ($\alpha$) basadas en las recompensas paso a paso: $\alpha_s = 1 - r_t$ para éxito y $\alpha_f = r_t$ para fracaso.
• Se calculan valores-p ($p_s, p_f$) comparando la puntuación actual con un conjunto de calibración.
• Garantía: Este proceso asigna etiquetas con límites de error probables (falsos positivos y negativos) controlados por un umbral de significancia $\epsilon$ (ej. 10%). Esto asegura que las etiquetas de éxito/fracaso sean estadísticamente válidas.

C. Sondas para Direcciones Latentes (Linear Probing)

• Se entrenan clasificadores lineales (sondas) sobre las activaciones residuales del modelo (en capas específicas y posiciones de tokens) para distinguir entre estados de "éxito" y "fracaso".
• Hipótesis: Se postula que en un LLM ajustado para tareas secuenciales, las direcciones geométricas del éxito y el fracaso son linealmente separables en el espacio de activaciones a lo largo del tiempo y las capas.

3. Contribuciones Clave

1. Marco de Interpretabilidad Temporal: Introducción de un enfoque que descompone la evaluación de agentes LLM en análisis paso a paso, superando la limitación de los métodos estáticos.
2. Etiquetado Conformal: Aplicación novedosa de la Predicción Conformal para etiquetar representaciones temporales de agentes, proporcionando garantías de error acotadas en la identificación de pasos de éxito o fallo.
3. Validación de Separabilidad Lineal: Demostración empírica de que un LLM (Llama-2-7B) finetuneado desarrolla conceptos internos de éxito y fracaso que son linealmente separables en su espacio latente.
4. Habilidad de Dirección (Steering): Uso de estas direcciones identificadas para intervenir en el modelo durante la inferencia, corrigiendo desviaciones y mejorando el rendimiento.

4. Resultados Experimentales

El marco se evaluó en dos entornos simulados interactivos: ScienceWorld (razonamiento científico) y AlfWorld (tareas domésticas), utilizando un agente Llama-2-7B.

• Separabilidad Lineal:
  • ScienceWorld: Las sondas lineales alcanzaron una precisión extremadamente alta (hasta 100% en conjuntos de prueba in-distribución y >90% en out-of-distribution) para distinguir éxito de fracaso en diferentes capas y pasos de tiempo.
  • AlfWorld: Se observaron resultados sólidos (precisión entre 60-95%), aunque ligeramente inferiores a ScienceWorld. Los autores atribuyen esto a que AlfWorld proporciona una sola recompensa final, mientras que ScienceWorld ofrece recompensas intermedias más densas, lo que facilita el aprendizaje de señales paso a paso.
• Robustez: Los conceptos de éxito/fracaso se mantuvieron separables tanto en datos dentro de la distribución (entrenamiento) como fuera de ella (nuevas combinaciones de objetos/entornos).
• Mejora mediante Dirección (Steering):
  • Se aplicó una intervención temprana (en el paso 3) utilizando la dirección de "éxito" identificada.
  • El modelo dirigido mostró una mejora del 1.1% en la precisión sobre la línea base.
  • Aunque este aumento es menor que métodos costosos como DPO o Rejection Sampling, es significativo considerando que se logró con una intervención simple y barata en un solo paso, corrigiendo alucinaciones y errores de secuencia (ej. seguir el orden incorrecto de sub-objetivos).

5. Significado e Impacto

Este trabajo representa un avance fundamental hacia agentes de lenguaje autónomos confiables:

• Detección Temprana de Fallos: Permite identificar cuándo un agente comienza a desviarse del razonamiento correcto antes de que ocurra el fallo final, habilitando intervenciones proactivas.
• Transparencia Operativa: Ofrece una visión granular de la "caja negra" del agente, mostrando no solo si falló, sino cuándo y dónde en la trayectoria comenzó el error.
• Control de Agentes: Establece una base para la "ingeniería de representaciones" temporal, permitiendo guiar a los agentes hacia comportamientos exitosos mediante la manipulación de sus estados internos latentes sin necesidad de reentrenamiento masivo.
• Aplicabilidad: El enfoque es generalizable a entornos multimodales y complejos, sentando las bases para sistemas autónomos más seguros y alineados en escenarios del mundo real.

En resumen, el paper demuestra que los conceptos temporales de éxito y fracaso en LLMs no son caóticos, sino que poseen una estructura geométrica lineal que puede ser detectada, cuantificada estadísticamente y utilizada para mejorar el comportamiento del agente.