Resumen Técnico: CIVeX – Verificación de Intervención Causal para Agentes de Lenguaje

1. Declaración del Problema

Los mecanismos de seguridad actuales para agentes de lenguaje que utilizan herramientas (por ejemplo, validadores de esquemas, filtros de políticas, predictores de estado y prompts de autoverificación) aseguran que una acción esté bien formada, sea permitida y sea lógicamente consistente. Sin embargo, estas salvaguardas no abordan un modo de fallo crítico en entornos confusos: una llamada a herramienta válida no es necesariamente una intervención válida.

En registros observacionales, una acción puede correlacionarse con una alta utilidad debido a factores de confusión latentes desconocidos para el agente. Cuando se ejecuta, esta acción puede producir una baja utilidad o causar daño porque la correlación histórica no refleja el verdadero efecto causal. Las pilas de seguridad existentes no verifican si una acción propuesta que cambia el estado tiene un efecto causal identificable sobre el resultado de interés. El artículo argumenta que, sin verificar la identificabilidad, los agentes corren el riesgo de ejecutar acciones que son "trampas dañinas": instancias donde el signo observacional sugiere beneficio, pero el verdadero efecto causal es perjudicial.

2. Metodología: CIVeX

Los autores introducen CIVeX (Verificación de Intervención Causal), un verificador en tiempo de ejecución que trata la ejecución de herramientas como un problema de inferencia causal. En lugar de predecir acciones, CIVeX las controla exigiendo un certificado causal con alcance de suposiciones antes de la ejecución.

2.1 El Certificado Causal

Una ejecución válida requiere un certificado $C = (G, A, \pi, \hat{\theta}, LCB_\alpha, prov, risk)$, que comprende:

• $G$: Un grafo causal comprometido sobre variables de acción y estado (incluyendo confusión latente mediante aristas bidireccionales).
• $A$: Un conjunto de suposiciones explícitas (por ejemplo, SUTVA, corrección del grafo).
• $\pi$: Una prueba de identificación verificable por máquina (por ejemplo, ajuste de puerta trasera, descomposición de puerta frontal o variables instrumentales).
• $\hat{\theta}$: La estimación puntual del efecto causal $E[Y \mid do(T=t^*)]$.
• $LCB_\alpha$: Un límite inferior de confianza unilateral sobre $\hat{\theta}$ al nivel $1-\alpha$.
• $prov$: Metadatos de procedencia (hash) de los datos utilizados.
• $risk$: Un límite superior sobre el daño potencial.

2.2 El Algoritmo de Triaje

CIVeX mapea una acción propuesta a una consulta causal estructural y la enruta hacia uno de cuatro veredictos auditables:

1. EJECUTAR: Emitido solo si la consulta es identificable bajo el grafo comprometido, el $LCB_\alpha$ unilateral supera un umbral de utilidad ($\tau_u$) y el costo está dentro de un límite de riesgo ($\tau_r$).
2. RECHAZAR: Emitido si la consulta es identificable pero el $LCB_\alpha$ es insuficiente o el costo excede el límite de riesgo.
3. EXPERIMENTAR: Emitido si el efecto no es identificable (por ejemplo, debido a rutas de confusión no bloqueadas) pero la acción es reversible y de bajo costo. Esto desencadena una solicitud de datos experimentales (por ejemplo, un conjunto de datos estilo ECA) para resolver el grafo.
4. ABSTENERSE: Emitido si el efecto no es identificable y la acción es irreversible o demasiado costosa.

2.3 Garantías Teóricas

El artículo proporciona dos proposiciones clave:

• Proposición 1: Los verificadores no causales (que dependen únicamente de signos observacionales) incurren en una tasa de ejecución falsa al menos igual a la "fracción de trampas dañinas" en entornos confusos.
• Proposición 2: Bajo compromisos de grafo correctos y estimadores válidos, la probabilidad de que CIVeX ejecute una acción dañina está acotada por el nivel de confianza unilateral $\alpha$. Este límite se mantiene por instancia, no solo asintóticamente.

3. Contribuciones Clave

1. Formalización del Certificado Causal: El artículo define un objeto riguroso y auditable que vincula una acción propuesta con una consulta causal estructural, un argumento de identificación y un límite de incertidumbre.
2. El Verificador CIVeX: Un algoritmo de triaje que hace cumplir las restricciones de identificabilidad y riesgo, distinguiendo entre llamadas a herramientas válidas e intervenciones válidas.
3. Causal-ToolBench: Una nueva evaluación que comprende 1,890 instancias en seis familias de flujos de trabajo de herramientas (por ejemplo, indexación de bases de datos, reinicios de servicios). Presenta:
   • Modelos Causales Estructurales (MCE) explícitamente parametrizados.
   • Dos regímenes: Confusión moderada y Confusión adversaria (donde los confusores latentes se calibran para invertir el signo observacional con respecto al verdadero efecto causal).
   • Datos emparejados estilo ECA para evaluar la rama "EXPERIMENTAR".
4. Caracterización Teórica: Demostraciones que establecen que la verificación observacional es inherentemente insegura en entornos confusos y que CIVeX proporciona una tasa de ejecución falsa acotada condicional a la corrección del grafo.

4. Resultados Experimentales

La evaluación compara CIVeX con un Oráculo, 12 líneas base (incluyendo puertas de políticas, clasificadores heurísticos y verificadores basados en LLM) y estudios de ablación.

4.1 Rendimiento en Regímenes de Confusión

• Confusión Adversaria: CIVeX logró 0% de ejecuciones falsas y 84.9% de precisión, generando una utilidad de +2.23. En contraste, la línea base "SiempreAbstenerse" generó +0.99, y la mejor línea base LLM (Cadena de Pensamiento Opus) cayó a +1.65 (74% de la utilidad de CIVeX) con 0% de ejecuciones falsas pero una abstención excesiva.
• Confusión Moderada: CIVeX logró una utilidad de +2.29 con 0% de ejecuciones falsas.
• Robustez: Bajo una restricción estricta de cero ejecuciones falsas, CIVeX fue el único método no oráculo que superó el suelo de "SiempreAbstenerse".

4.2 Líneas Base LLM

El artículo probó LLMs de Cadena de Pensamiento (CoT) (Claude Opus y Sonnet) como verificadores.

• Aunque CoT redujo las ejecuciones falsas en comparación con prompts concisos, no logró proporcionar la garantía por instancia de CIVeX.
• Bajo confusión adversaria, la utilidad de CoT-Opus cayó significativamente debido a una abstención excesiva, y CoT-Sonnet mantuvo una tasa residual de ejecución falsa (1.0%), fallando la restricción de seguridad estricta.
• Conclusión: La promoción fuerte mejora el razonamiento, pero no reemplaza las comprobaciones de identificación algorítmicas para restricciones de seguridad estrictas.

4.3 Estudios de Ablación

• Rama EXPERIMENTAR: Eliminar la capacidad de solicitar datos experimentales (mapeando EXPERIMENTAR a ABSTENERSE) hizo que la utilidad de CIVeX en entornos adversarios colapsara al suelo de "SiempreAbstenerse" (+0.99), demostrando que la rama es crítica para capturar utilidad cuando la identificabilidad está inicialmente bloqueada.
• Especificación Incorrecta del Grafo: Cuando los confusores observados se reetiquetaron como latentes (introduciendo rutas no bloqueables), CIVeX falló correctamente en la identificación y enrutó las instancias a EXPERIMENTAR o ABSTENERSE, manteniendo 0% de ejecuciones falsas mientras reducía las ejecuciones correctas (como se esperaba).

5. Significado y Afirmaciones

El artículo afirma que la identificabilidad de la intervención, y no la validez de la acción, es el primitivo faltante para el uso fiable de herramientas.

• Garantía de Seguridad: CIVeX ofrece una garantía de seguridad condicional: si el grafo comprometido es correcto y la infraestructura lo soporta, la probabilidad de una ejecución falsa está acotada por $\alpha$.
• Auditabilidad: Cada decisión va acompañada de un certificado o una negativa que explica la suposición faltante, permitiendo auditorías a posteriori.
• Alcance Modesto: Los autores declaran explícitamente que CIVeX no garantiza la seguridad por sí solo; la garantía es condicional a una infraestructura de compromiso de grafos (versionado, firma, monitoreo de deriva) que está fuera del alcance del artículo pero es necesaria para el despliegue en producción.
• Limitaciones: Los resultados se basan en MCE sintéticos (Causal-ToolBench) y no afirman límites de arrepentimiento asintótico. Las tasas de ejecución falsa son observaciones empíricas en la evaluación, acotadas teóricamente por el nivel de confianza $\alpha$.

En resumen, CIVeX propone un cambio de "validar la llamada a la herramienta" a "validar la intervención", utilizando maquinaria de inferencia causal para evitar que los agentes ejecuten acciones que están correlacionadas observacionalmente con el éxito pero que son causalmente dañinas.