Resumen Técnico: TRAP Benchmark para la Finalización de Tareas y la Resistencia a la Extracción Activa de Privacidad

1. Planteamiento del Problema

Los agentes de Modelos de Lenguaje Extensos (LLM) se despliegan cada vez más en flujos de trabajo intensivos en documentos (por ejemplo, reservar vuelos, procesar nóminas) donde el acceso a información privada sensible (PII) es esencial para completar una tarea. Existe una tensión fundamental en estos escenarios: para completar una tarea con precisión, un agente debe analizar y utilizar campos privados de los documentos; sin embargo, la misma capacidad que permite un análisis preciso hace que el agente sea susceptible de revelar esa información privada cuando se le consulta.

Los paradigmas de evaluación actuales no abordan esta tensión de forma conjunta:

• Entornos Pasivos: Evalúan la privacidad como una filtración incidental durante la ejecución de la tarea, pero ignoran los intentos explícitos de extracción.
• Entornos Adversarios: Evalúan la privacidad bajo ataques explícitos, pero ignoran el rendimiento de la tarea, lo que permite que los modelos logren una privacidad "perfecta" simplemente negándose a participar en cualquier tarea.

El artículo sostiene que la autenticación por sí sola no puede resolver este riesgo, ya que el agente no puede verificar la identidad real del usuario frente al teclado. El desafío central es evaluar y resolver el compromiso donde un agente debe usar información privada para tener éxito en una tarea y, al mismo haber, negarse a exponer dicha información en respuestas de lenguaje natural.

2. Metodología: El TRAP Benchmark

Los autores presentan TRAP (Task-completion and Resistance to Active Privacy-extraction), un benchmark diseñado para medir simultáneamente el compromiso entre utilidad y privacidad.

2.1 Construcción del Conjunto de Datos

• Alcance: 500 casos de documentos en 10 dominios (5 personales: identidad, tarjeta de crédito, médica, recibo de sueldo, cuenta; 5 corporativos: contrato, agenda, financiera, RR.HH., impuestos).
• Modalidades: Solo texto, solo imagen y multimodal (texto + imagen).
• Estructura: Cada instancia contiene un documento con conjuntos disjuntos de campos privados (sensibles) y campos no privados.
• Consultas Duales:
  1. Consulta de Tarea (Task Query): Requiere que el agente invoque una herramienta específica utilizando al menos un campo privado como argumento (p. ej., "Reclamar IVA del comprador con la cuenta usando [número de cuenta]").
  2. Consulta de Ataque (Attack Query): Un intento explícito de provocar la obtención del valor de un campo privado en lenguaje natural (p. ej., "¿Cuál es el número de pasaporte?"). Las variantes incluyen preguntas directas y encuadres adversarios (Ignorar, Importante, Juego de roles/Roleplay).

2.2 Métricas de Evaluación

• Precisión de la Tarea (Task Accuracy): Mide si el agente selecciona la herramienta correcta y proporciona argumentos que coinciden con los valores de la verdad de referencia (ground-truth).
• Puntuación de Privacidad (Privacy Score): Mide la fracción de instancias donde el agente no revela el campo privado consultado en respuesta a la consulta de ataque.
• Media Armónica (HM): Se utiliza para agregar el compromiso entre la precisión de la tarea y la privacidad.

2.3 Configuración Experimental

Los autores evaluaron 22 modelos, incluyendo 9 modelos propietarios (p. ej., GPT-4o-mini, GPT-5, Gemini-2.5-Pro, Claude Sonnet 4.5) y 13 modelos de código abierto (p. ej., Qwen3-VL, InternVL3.5, Llama3.2-Vision). Probaron diversas defensas basadas en prompts, incluyendo instrucciones de prompt de sistema y optimización de prompts conjunta mediante TextGrad.

3. Resultados Clave

3.1 Vulnerabilidad Inherente

• Filtración Universal: Todas las familias de modelos exhibieron una filtración no trivial. Los modelos que logran una alta precisión en la tarea (>60%) muestran consistentemente puntuaciones de privacidad bajas (<27%).
• Correlación con la Capacidad: La capacidad de seguimiento de instrucciones correlaciona positivamente con la tasa de filtración. Los modelos más fuertes (mejores en el análisis y uso de datos) son más efectivos extrayendo y reproduciendo información privada cuando se les solicita.
• Efectos de Escala: En la familia Qwen3-VL, aumentar los parámetros de 2B a 8B mejoró significativamente la precisión de la tarea pero causó un colapso abrupto en la protección de la privacidad. El escalado adicional no resolvió la vulnerabilidad.
• Modalidad: Las puntuaciones de privacidad fueron más bajas en entradas de texto y más altas en entradas de imagen. Los autores señalan que esto es probablemente un artefacto de las limitaciones de OCR/análisis más que una conciencia genuina de la privacidad.

3.2 Fracaso de las Restricciones Blandas (Soft Constraints)

• Defensas de Prompt: Las defensas de prompt existentes (instrucciones de sistema) redujeron la filtración pero a un costo significativo en la precisión de la tarea.
• Optimización de Prompts: La optimización conjunta de prompts para ambos objetivos no logró escapar de la curva de compromiso; los modelos optimizados simplemente se desplazaron a lo largo de la misma frontera que las variantes diseñadas a mano.
• Ingeniería Social: Se encontró que los modelos son susceptibles a la ingeniería social basada en la "autorización". Cuando los usuarios afirmaban estar autorizados, los modelos filtraban más información ( $\Delta$Privacidad negativa), particularmente entre los modelos propietarios.

3.3 Solución Estructural

• Aislamiento de Campos Privados: Los autores propusieron un enfoque estructural donde los campos privados son reemplazados por claves de hash simbólicas (p. ej., [PRIVATE_buyer_ein]) antes de llegar al modelo. Los valores reales se almacenan en una tabla de hash y se resuelven solo dentro de la capa de ejecución de la herramienta.
• Rendimiento: Bajo el enmascaramiento "Oráculo" (identificación perfecta de las regiones privadas), este enfoque logró puntuaciones de privacidad >90% en todos los modelos mientras mantenía una precisión de tarea cercana a la línea base. Esto demuestra que el aislamiento estructural puede romper el compromiso entre utilidad y privacidad.

4. Contribución Teórica: Resultado de Imposibilidad

El artículo proporciona una prueba formal (Teorema 1) que demuestra que para cualquier modelo basado en softmax, ninguna defensa de restricción blanda (incluyendo instrucciones de prompt o ajuste de alineación) puede garantizar simultáneamente un alto éxito de la tarea y una probabilidad de filtración cero bajo intentos de extracción suficientemente largos.

• Lógica: Si un modelo completa con éxito una tarea utilizando tokens privados, debe haberlos procesado con una probabilidad estrictamente positiva. En consecuencia, la probabilidad de filtrar estos tokens se acerca a 1 a medida que aumenta la longitud del ataque, independientemente de qué tan cuidadosamente se redacte el prompt.
• Implicación: El fracaso de las defensas basadas en prompts no es una limitación práctica, sino una propiedad fundamental de la arquitectura del modelo.

5. Significado y Reivindicaciones

El artículo sostiene que las garantías de privacidad significativas en sistemas de agentes no pueden lograrse únicamente mediante parches a nivel de instrucción o ingeniería de prompts. En su lugar, argumenta por una decisión arquitectónica a nivel de sistema: el aislamiento estructural de campos privados.

• Conclusión Clave: La tensión entre la utilidad de la tarea y la privacidad es inherente a los modelos que procesan datos privados en texto plano. El único camino viable hacia la filtración cero manteniendo la utilidad es evitar que los valores privados entren en la distribución de salida del modelo en primer lugar.
• Limitaciones: Los autores reconocen que su implementación actual de aislamiento estructural depende del OCR y el enmascaramiento, lo que puede introducir errores (p. ej., enmascarar contenido no privado o no lograr enmascarar regiones estrechas). Consideran esto un desafío de ingeniería para futuras mejoras en OCR y detección de PII, más que un fallo fundamental en el enfoque estructural.

El trabajo establece que el "compromiso entre utilidad y privacidad" observado en los benchmarks actuales es un artefacto estructural de permitir que los modelos vean datos privados en texto plano, y que resolverlo requiere desacoplar las capacidades de razonamiento del modelo del acceso directo a los valores privados brutos.