Resumen Técnico: Detección y Corrección de Acciones Desalineadas en Agentes de Uso de Computadora

1. Definición del Problema

Los agentes de uso de computadora (CUA, por sus siglas en inglés) han demostrado un progreso significativo en la automatización de tareas digitales, pero frecuentemente producen acciones desalineadas: comportamientos que se desvían de la intención original del usuario. Estas desviaciones surgen de dos fuentes primarias:

1. Ataques Externos: Instrucciones maliciosas incrustadas en el entorno (por ejemplo, inyecciones de prompts indirectas en contenido web) que redirigen al agente.
2. Limitaciones Internas: Razonamiento erróneo, fallos de fundamentación o malinterpretación de los límites de la tarea que conducen a comportamientos no deseados o perjudicialos sin la presencia de una entrada adversaria.

La investigación de seguridad existente se centra principalmente en violaciones de políticas o riesgos de seguridad (por ejemplo, filtraciones de datos, acceso no autorizado) y depende de políticas predefinidas o patrones de ataque conocidos. Sin embargo, este paradigma centrado en la seguridad deja un vacío crítico: los agentes pueden realizar acciones que son técnicamente permisibles y no maliciosas, pero que aun así se desvían injustificadamente de la intención del usuario (por ejemplo, eliminar un archivo fuente después de exportar un PDF, o abrir aplicaciones no relacionadas). Tales comportamientos erosionan la confianza del usuario y degradan la eficiencia de la tarea, pero no son capturados por las salvaguardas de seguridad tradicionales.

Este trabajo define la alineación de acciones como si una acción propuesta puede justificarse como un avance hacia la intención auténtica del usuario. Una acción se considera desalineada si:

• Responde a directivas externas (por ejemplo, instrucciones inyectadas) en lugar de a la instrucción del usuario.
• Resulta en consecuencias no autorizadas o no deseadas.
• No puede ser interpretada razonablemente como una contribución a la tarea prevista.

El problema central abordado es la detección de acciones desalineadas: determinar si una acción propuesta está desalineada antes de su ejecución, sin tener acceso a las consecuencias reales.

2. Metodología

2.1 MISACTBENCH: Un Benchmark Exhaustivo

Para permitir una evaluación sistemática, los autores construyeron MISACTBENCH, un benchmark que contiene 2,264 etiquetas de alineación a nivel de acción anotadas por humanos a través de 558 trayectorias realistas. El benchmark cubre tres categorías de acciones desalineadas:

1. Seguimiento de Instrucciones Maliciosas: Acciones que cumplen con directivas maliciosas externas (por ejemplo, inyecciones de prompts indirectas).
2. Comportamiento Perjudicial No Intencionado: Acciones que causan daño debido a limitaciones internas (por ejemplo, errores de razonamiento) en lugar de ataques.
3. Otro Comportamiento Irrelevante para la Tarea: Acciones irrelevantes para la tarea que degradan la eficiencia (por ejemplo, abrir aplicaciones no relacionadas).

Estrategia de Recolección de Datos:

• Ataques Externos: Las trayectorias se recolectaron ejecutando diversos CUA (incluyendo GPT-4o, Claude Sonnet 3.5/3.7 y modelos especializados en CUA) en benchmarks adversarios (OS-Harm, DoomArena, RedTeamCUA, RiOSWorld) donde los ataques tuvieron éxito.
• Limitaciones Internas: Dado que los fallos internos son raros en ejecuciones benignas, los autores emplearon un procedimiento de síntesis controlada. Tomaron trayectorias benignas de OSWorld, identificaron pasos adecuados para inyectar subobjetivos no deseados (por ejemplo, eliminar un archivo después de la extracción), ejecutaron estos subobjetivos como tareas independientes y fusionaron las acciones resultantes de nuevo en la trayectoria benigna.
• Anotación: Se utilizó un riguroso proceso de anotación humana de dos fases, logrando un coeficiente Kappa de Fleiss de 0.84.

2.2 DEACTION: Salvaguarda en Tiempo de Ejecución

Los autores proponen DEACTION, una salvaguarda de tiempo de ejecución práctica y lista para usar (plug-and-play) que detecta y corrige acciones desalineadas antes de su ejecución. Opera independientemente de los parámetros internos del agente.

Arquitectura:
DEACTION emplea una línea de detección de dos etapas condicionada por un resumen narrativo del historial de interacción (para reducir el consumo de tokens y la latencia en comparación con las capturas de pantalla puras).

1. Etapa 1: Verificación Rápida: Una evaluación de un LLM ligero determina si una acción está "claramente alineada" (por ejemplo, abrir la configuración para ajustar configuraciones). Si es así, la acción evita el análisis posterior para minimizar la latencia.
2. Etapa 2: Análisis Sistemático: Para acciones ambiguas, se realiza un análisis más profundo y estructurado a través de cuatro componentes:
   • Análisis de Inyección: Inspecciona la captura de pantalla en busca de instrucciones maliciosas o engañosas.
   • Comprensión de la Acción: Interpreta la semántica de la acción de bajo nivel basada en el estado actual.
   • Predicción de Resultados: Anticipa cambios de estado y efectos a largo plazo.
   • Análisis de Desalineación: Integra las señales para determinar si la acción se alinea con el objetivo del usuario.

Corrección Iterativa:
En lugar de simplemente bloquear las acciones desalineadas, DEACTION proporciona retroalimentación estructurada al agente, explicando los problemas identificados (por ejemplo, inyecciones detectadas, predicción de resultados negativos). Se le pide al agente que revise su acción, y el ciclo continúa hasta que se propone una acción alineada o se alcanza un límite de reintentos.

3. Resultados Clave

3.1 Evaluación Offline (MISACTBENCH)

• Desempeño: DEACTION supera a las líneas base (Task Shield, InferAct) por más de un 15% absoluto en la puntuación F1 a través de varios modelos de base (Qwen3-VL, Claude Sonnet 4.5, GPT-5.1).
• Precisión vs. Recall: Mientras que las líneas base suelen lograr un alto recall con baja precisión (falsos positivos frecuentes), DEACTION mantiene un recall sólido mientras mejora significativamente la precisión (hasta un 89.9%), lo que resulta en una detección más confiable.
• Representación del Historial: El uso de resúmenes narrativos para el contexto del historial superó al uso de capturas de pantalla puras o acciones por sí solas, logrando un mejor desempeño con menor latencia (11s frente a 18s por paso) y menor consumo de tokens.
• Compromiso entre Latencia y Desempeño: El diseño de dos etapas reduce la latencia en comparación con la ejecución de un análisis sistemático en cada paso, manteniendo un desempeño comparable al análisis sistemático completo.

3.2 Evaluación Online

• Entornos Adversarios (RedTeamCUA): DEACTION redujo la Tasa de Éxito de Ataque (ASR) en más del 90% en diferentes CUA, mientras mejoraba o preservaba la Utilidad bajo Ataque (UA).
• Entornos Benignos (OSWorld): DEACTION preservó o mejoró las tasas de éxito de las tareas, demostrando que no sobre-restringe el comportamiento normal.
• Eficiencia: La salvaguarda añadió una sobrecarga manejable (aproximadamente el 25% del tiempo de ejecución por paso). El enrutamiento de dos etapas permitió que el 45% de las acciones evitaran el razonamiento profundo.
• Eficacia de la Corrección: De las acciones desalineadas señaladas, el 78% fueron corregidas exitosamente hacia un comportamiento alineado mediante retroalimentación iterativa, con un 62% corregido en una sola revisión.

4. Contribuciones

El artículo realiza tres contribuciones principales:

1. Perspectiva Centrada en la Intención: Encuadra las desviaciones de los CUA como un problema de desalineación de acciones en lugar de un problema de seguridad/política, identificando tres categorías comunes de acciones desalineadas en despliegues del mundo real.
2. MISACTBENCH: La introducción de un benchmark exhaustivo con 2,264 etiquetas de alineación a nivel de acción anotadas por humanos, que cubren tanto ataques externos como limitaciones internas.
3. DEACTION: Una salvaguarda práctica y universal que detecta proactivamente acciones desalineadas antes de su ejecución y las corrige iterativamente mediante retroalimentación estructurada, validada tanto en entornos adversarios como benignos.

5. Significado y Reivindicaciones

Los autores posicionan este trabajo como el primer estudio sistemático de la detección de desalineación de acciones en los CUA. Reivindican que DEACTION sirve como un mecanismo de protección plug-and-play que mejora la confiabilidad y robustez de los agentes de uso de computadora en entornos de código abierto y del mundo real.

La importancia radica en abordar la brecha entre la "seguridad" (evitar el daño) y la "alineación" (ejecutar fielmente la intención del usuario). Al detectar y corregir acciones que son técnicamente permisibles pero que se desvían de la intención, el trabajo busca reducir los riesgos de seguridad, los efectos secundarios innecesarios y los fallos de ejecución. Los autores afirman que su enfoque permite el despliegue de sistemas de aprendizaje automático más confiables y controlables sin requerir cambios en la arquitectura del agente subyacente.

Limitaciones Reconocidas:
El artículo señala que las instrucciones maliciosas bien disfrazadas aún pueden evadir la verificación rápida, y que la predicción de resultados sigue siendo un desafío debido a las limitaciones actuales de modelado de mundo de los LLM. Además, la síntesis de fallos internos, aunque controlada y validada, puede no agotar todos los posibles modos de fallo internos. Se sugiere que el trabajo futuro se centre en una detección de inyección más robusta, una comprensión de la acción más fina y un razonamiento de nivel de intención más preciso.