Resumen Técnico: Salvaguardando Agentes de LLM mediante el Análisis de Procedencia

Declaración del Problema

A medida que los agentes de Modelos de Lenguaje Extensos (LLM) evolucionan de asistentes conversacionales a sistemas autónomos capaces de ejecutar acciones irreversibles (por ejemplo, transferir dinero, modificar archivos), asegurar que sus acciones se alineen con la intención del usuario es crítico. El artículo identifica la desalineación como un fenómeno donde la propuesta de invocación de una herramienta por parte de un agente se desvía de la intención del usuario, no necesariamente debido a una intención maliciosa, sino debido a malentendidos o suposiciones injustificadas sobre la solicitud del usuario.

Los guardarraíles de ejecución existentes a menudo dependen de un paradigma de "LLM-como-juez", donde un único prompt de LLM evalúa si una acción debe ser permitida. Los autores argumentan que este enfoque carece de un marco sistemático para razonar sobre la alineación, lo que conduce a juicios inconsistentes, racionales subjetivos y dificultades en la auditoría. Además, las medidas de seguridad tradicionales como el sandboxing limitan las consecuencias en lugar de prevenir la acción desalineada inicial, y la verificación post-hoc no puede deshacer las invocaciones de herramientas irreversibles.

Metodología

1. Marco Conceptual: Guardarraíles Basados en la Procedencia

Motivados por el análisis de procedencia (el estudio del origen y la historia de derivación de un artefacto), los autores proponen un marco donde una acción se considera alineada solo si está respaldada por evidencia trazable dentro del contexto del agente. El contexto incluye la consulta del usuario ($q$), la documentación de la herramienta ($d$) y el historial de interacción ($h$).

El marco formaliza la detección de la desalineación categorizándola en tres tipos distintos, cada uno correspondiente a un fallo en el establecimiento de relaciones de procedencia específicas:

• Desalineación a Nivel de Herramienta: El agente selecciona una herramienta irrelevante para la tarea.
  • Verificación de Procedencia: ¿La herramienta seleccionada ($t$) tiene una documentación ($d_t$) que es RelevantePara una subtarea ($s$) que ContribuyeA la consulta del usuario ($q$)?
• Desalineación a Nivel de Parámetro: El agente selecciona la herramienta correcta pero asigna parámetros que no están fundamentados en el contexto.
  • Verificación de Procedencia: ¿Puede la asignación de parámetros ($a$) ser DerivadaDe evidencia fáctica ($e$) que aparece en la consulta o en el historial? Además, ¿la herramienta instanciada ($t$ con $a$) PuedeAbordar la subtarea ($s$)?
  • Nota: El marco distingue entre parámetros derivables (que requieren procedencia) y parámetros generativos (por ejemplo, redactar el cuerpo de un correo electrónico), que no requieren un rastreo directo de procedencia.
• Desalineación a Nivel de Interpretación: El agente resuelve una consulta subespecificada comprometiéndose arbitrariamente con una interpretación cuando existen múltiples interpretaciones plausibles.
  • Verificación de Procedencia: ¿Es la acción propuesta el único candidato admisible por procedencia dado el contexto? Si existen múltiples acciones distintas respaldadas por el contexto, la consulta está subespecificada, y comprometerse con una sin pedir aclaraciones es una desalineación.

2. Implementación: ProvenanceGuard

Los autores implementan este marco como ProvenanceGuard, un pipeline de ejecución de múltiples etapas que intercepta las llamadas a herramientas antes de su ejecución. A diferencia de un "LLM-como-juez" de un solo paso, ProvenanceGuard descompone la decisión en tres etapas secuenciales:

1. Etapa I (Nivel de Herramienta): Filtra las herramientas que cambian el entorno y verifica si la herramienta seleccionada es relevante para el plan de subtareas actual del agente.
2. Etapa II (Nivel de Parámetro): Identifica qué parámetros son derivables y verifica si sus valores pueden rastrearse hasta el contexto y si instancian correctamente la herramienta para la subtarea.
3. Etapa III (Nivel de Interpretación): Pregunta al LLM (sin revelar la acción elegida por el agente para evitar sesgos) si existen otras acciones admisibles por procedencia. Si existen múltiples, la acción es bloqueada ya que depende de una suposición injustificada.

El sistema utiliza un LLM para evaluar las relaciones de procedencia específicas (por ejemplo, RelevantePara, DerivadoDe), pero estructura el proceso de razonamiento para que sea más explícito y auditable que un prompt holístico.

Contribuciones Clave

1. Taxonomía de la Desalineación: Una distinción formal entre desalineación a nivel de herramienta, a nivel de parámetro y a nivel de interpretación.
2. Marco Basado en la Procedencia: Un modelo conceptual que enmarca la verificación de alineación como la determinación de si las llamadas a herramientas están fundamentadas en evidencia trazable, formalizada a través de relaciones binarias específicas.
3. ProvenanceGuard: Una implementación de pipeline de múltiples etapas del marco que opera como un guardarraíl de ejecución.
4. Benchmarking: Evaluación a través de dos benchmarks (Agent-SafetyBench y WorkBench) y 10 LLMs base, incluyendo un subconjunto anotado manualmente de trazas de Agent-SafetyBench.

Resultados Experimentales

Los autores evaluaron ProvenanceGuard contra un DirectPrompt Baseline (estándar de LLM-como-juez) y un Single-step Provenance Prompt (ProvePrompt, que utiliza los conceptos del marco en un solo paso).

• Detección de Desalineación (Tasa de Error):
  • En Agent-SafetyBench (enfocado en la subespecificación), ProvenanceGuard redujo la tasa de error en trazas desalineadas del 42.9% (Baseline) al 1.8%.
  • En WorkBench, la tasa de error disminuyó del 32.1% al 17.3%.
  • El diseño de múltiples etapas (ProvenanceGuard) superó consistentemente a la variante de un solo paso (ProvePrompt), particularmente en Agent-SafetyBench, lo que sugiere el valor de descomponer el proceso de razonamiento.
• Costo de Intervención (Falsos Positivos/Intervenciones Innecesarias):
  • En Agent-SafetyBench (trazas alineadas), ProvenanceGuard no introdujo un aumento estadísticamente significativo en intervenciones innecesarias en comparación con el baseline.
  • En WorkBench (trazas de tareas exitosas), ProvenanceGuard redujo significativamente la tasa de intervención del 30.5% (Baseline) al 12.8%, indicando que es más preciso al permitir que las acciones correctas procedan.

Significación y Reivindicaciones

El artículo afirma que el razonamiento estructurado basado en la procedencia proporciona una base efectiva y práctica para salvaguardar los agentes de LLM. La significación radica en:

• Razonamiento Sistemático: Pasar de juicios subjetivos y holísticos a un marco basado en enlaces de dependencia explícitos y auditables entre la acción y el contexto.
• Manejo de la Subespecificación: El marco aborda específicamente el riesgo de que los agentes realicen suposiciones injustificadas en consultas subespecificadas, una causa común de desalineación que los filtros de seguridad estándar suelen pasar por alto.
• Rendimiento Equilibrado: El enfoque de múltiples etapas logra una alta precisión de detección para acciones desalineadas sin incurrir en un costo prohibitivo en términos de bloqueo de tareas válidas y exitosas del agente.

Los autores concluyen que, si bien el marco no puede detectar la desalineación en parámetros puramente generativos (como la generación de texto libre) y depende del propio plan del agente (el cual teóricamente podría estar desalineado), ofrece un mecanismo robusto para prevenir acciones irreversibles y no fundamentadas en el contexto en sistemas agénticos.