Resumen Técnico: POLAR-Bench

Declaración del Problema

Los agentes de Modelos de Lenguaje Grande (LLM) se despliegan cada vez más para actuar en nombre de los usuarios, accediendo a documentos privados e interactuando con sistemas de terceros para completar tareas. En estos escenarios, un agente confiable debe equilibrar dos demandas competitivas: compartir información suficiente para completar la tarea (utilidad) mientras se adhiere estrictamente a las políticas de privacidad definidas por el usuario para retener datos sensibles (privacidad). Este desafío se ve agravado cuando los sistemas de terceros se comportan de manera adversaria, empleando estrategias como la inyección directa de prompts, la interpretación de roles o la elicita ción gradual para extraer atributos protegidos.

Las evaluaciones existentes para la privacidad en entornos de agentes adolecen de limitaciones significativas. La mayoría evalúa los modelos bajo condiciones fijas, probando ya sea un solo tipo de política o una sola estrategia de ataque a la vez. Ninguna varía simultáneamente la dimensión de la política de privacidad y la estrategia del ataque como ejes conjuntos. En consecuencia, la compensación entre privacidad y utilidad permanece poco explorada, lo que dificulta identificar exactamente dónde se rompen las capacidades de seguimiento de intenciones de un modelo.

Metodología

Los autores introducen POLAR-Bench (Benchmark adversarial consciente de políticas), un marco diagnóstico diseñado para evaluar la compensación entre privacidad y utilidad en agentes LLM bajo condiciones adversarias.

Estructura del Benchmark

POLAR-Bench construye una superficie diagnóstica de 5 × 5 para cada modelo evaluado, variando dos ejes ortogonales:

1. Dimensión de la Política de Privacidad ($L_P$): Cinco niveles de dificultad de razonamiento creciente, que van desde restricciones explícitas de campos (P1) hasta restricciones semánticas (P2), divulgación condicional (P3), divulgación parcial/abstraída (P4) y objetivos conflictivos (P5).
2. Estrategia de Ataque ($L_S$): Cinco estrategias utilizadas por un modelo de terceros adversario para elicitar información, que van desde solicitudes directas de un solo turno (S1) hasta la reducción de sí/no (S2), confusión de roles (S3), inyección de prompts (S4) y elicita ción progresiva de múltiples turnos (S5).

Generación de Datos y Evaluación

• Conjunto de Datos: El benchmark abarca 10 dominios (por ejemplo, médico, legal, financiero) con un total de 7,852 muestras.
• Pipeline de Generación: Las muestras se generan a partir de perfiles JSON estructurados que contienen atributos relevantes para la tarea ($A_{task}$), atributos protegidos ($A_{protected}$) y ruido irrelevante ($A_{other}$). Estos se renderizan en documentos fuente en lenguaje natural, políticas de privacidad, instrucciones de tarea y prompts de atacante.
• Desacoplamiento: Un principio de diseño crítico asegura que la instrucción de la tarea ($T$) no contenga pistas de privacidad, obligando al modelo a depender exclusivamente de la política de privacidad ($P$) para las restricciones.
• Protocolo de Evaluación: Un modelo confiable ($T$) conversa con un modelo adversario fijo ($E$). La interacción se puntúa de manera determinista utilizando verificaciones de pertenencia a conjuntos basadas en expresiones regulares contra atributos de verdad fundamental, eliminando la necesidad de un juez LLM en el bucle de puntuación.
  • Puntuación de Privacidad: La fracción de atributos protegidos retenidos con éxito.
  • Puntuación de Utilidad: La fracción de atributos relevantes para la tarea compartidos con éxito.
  • Puntuación General: Una combinación convexa de privacidad y utilidad (valor predeterminado $\lambda = 0.5$).

Contribuciones Clave

1. Primera Superficie Diagnóstica Conjunta: POLAR-Bench es el primer benchmark que varía la dimensión de la política de privacidad y la estrategia de ataque como ejes conjuntos, creando una superficie de evaluación de 5 × 5 que revela modos de fallo específicos en lugar de puntuaciones agregadas.
2. Puntuación Determinista: Al utilizar la coincidencia basada en expresiones regulares sobre verdades fundamentales estructuradas, el benchmark evita la subjetividad y los riesgos de alucinación asociados con los jueces basados en LLM para la puntuación de resultados.
3. Cobertura Exhaustiva: El benchmark cubre 10 dominios diversos y 7,852 muestras, evaluando una amplia gama de modelos propietarios y de pesos abiertos (desde 3B hasta 120B parámetros).
4. Pruebas de Estrés de Defensa: El marco está diseñado para ser compatible con defensas en tiempo de inferencia, permitiendo la evaluación de mecanismos como PrivacyChecker.

Resultados

La evaluación de modelos de vanguardia y de pesos abiertos revela una división nítida en el rendimiento:

• Modelos de Vanguardia: Los modelos actuales de vanguardia (por ejemplo, GLM-5.1, GPT-5.4, Gemma-4-31B, DeepSeek-V3.1) demuestran un seguimiento de intenciones robusto, reteniendo más del 99% de los atributos protegidos mientras mantienen una alta utilidad.
• Modelos Pequeños de Pesos Abiertos: Los modelos en el rango de 1–30B, que se despliegan comúnmente como agentes en dispositivos o de inferencia privada, obtienen puntuaciones significativamente peores. Los modelos más débiles filtran más del 50% de los atributos protegidos. Algunos modelos más pequeños mantienen la privacidad solo sacrificando utilidad (volviéndose excesivamente conservadores), mientras que otros priorizan la utilidad a costa de la privacidad.
• Tamaño del Modelo vs. Capacidad: El tamaño del modelo por sí solo no es un predictor confiable de privacidad o utilidad. Los efectos de escalado son inconsistentes dentro de las familias de modelos. En cambio, la capacidad general de razonamiento (aproximada por las puntuaciones GPQA Diamond) muestra una fuerte correlación positiva con la protección de la privacidad ($r=0.752$) pero una correlación negativa débil con la utilidad, lo que sugiere que los razonadores más fuertes pueden ser excesivamente conservadores.
• Vulnerabilidad al Ataque:
  • S2 (Reducción de sí/no) y S5 (Progresivo de múltiples turnos) son las estrategias de ataque más efectivas, causando las mayores caídas en las puntuaciones de privacidad y la mayor variabilidad entre modelos.
  • S1 (Directo de un solo turno) es el más fácil de defender.
  • La robustez de la privacidad no puede evaluarse únicamente mediante ataques directos; los ataques incrementales y conversacionales son esenciales para una evaluación precisa.
• Variabilidad del Dominio: Si bien las clasificaciones de los modelos permanecen relativamente estables entre dominios, el rendimiento absoluto varía. "Atención al Cliente" es el dominio más desafiante para la utilidad, mientras que "Reclutamiento" presenta el mayor riesgo de privacidad y variabilidad.

Significado y Afirmaciones

El artículo afirma que POLAR-Bench proporciona un "punto de apoyo necesario para la alineación de la privacidad donde más importa". Su principal significado radica en localizar dónde se rompe el seguimiento de intenciones de un modelo. En lugar de simplemente informar si un modelo falla, la superficie diagnóstica identifica cómo falla:

• Si falla al divulgar en exceso información protegida.
• Si falla al volverse demasiado conservador para completar la tarea.
• Si falla bajo estrategias de ataque específicas o tipos de políticas.

Los autores enfatizan que la brecha entre los modelos de vanguardia y la clase de pesos abiertos de 1–30B es crítica para el despliegue, ya que los usuarios dependen cada vez más de estos modelos más pequeños y desplegable localmente como agentes confiables para evitar enviar datos privados a APIs de terceros. El artículo postula que la alineación y las elecciones de entrenamiento impulsan el rendimiento más que la cantidad de parámetros por sí sola, y que la capacidad de razonamiento se correlaciona fuertemente con la capacidad de reconocer qué retener, incluso si no garantiza una mejor finalización de la tarea.

Finalmente, el benchmark sirve como una prueba de estrés para la próxima generación de alineación consciente de la privacidad y defensas en tiempo de inferencia, particularmente aquellas dirigidas a la clase de modelos más pequeños relevantes para el despliegue.