Resumo Técnico: POLAR-Bench

Declaração do Problema

Agentes de Modelos de Linguagem de Grande Escala (LLM) estão sendo cada vez mais implantados para agir em nome dos usuários, acessando documentos privados e interagindo com sistemas de terceiros para concluir tarefas. Nesses cenários, um agente confiável deve equilibrar duas demandas concorrentes: compartilhar informações suficientes para concluir a tarefa (utilidade) enquanto adere estritamente a políticas de privacidade definidas pelo usuário para reter dados sensíveis (privacidade). Esse desafio é agravado quando sistemas de terceiros se comportam de forma adversária, empregando estratégias como injeção direta de prompts, interpretação de papéis ou elicitação gradual para extrair atributos protegidos.

As avaliações existentes para privacidade em configurações de agentes sofrem de limitações significativas. A maioria avalia modelos sob condições fixas, testando ou um único tipo de política ou uma única estratégia de ataque por vez. Nenhuma varia simultaneamente a dimensão da política de privacidade e a estratégia do ataque como eixos conjuntos. Consequentemente, o trade-off entre privacidade e utilidade permanece pouco explorado, tornando difícil identificar exatamente onde as capacidades de seguimento de intenções de um modelo falham.

Metodologia

Os autores introduzem o POLAR-Bench (Benchmark Adversarial Consciente de Políticas), um framework de diagnóstico projetado para avaliar o trade-off entre privacidade e utilidade em agentes LLM sob condições adversárias.

Estrutura do Benchmark

O POLAR-Bench constrói uma superfície de diagnóstico 5 × 5 para cada modelo avaliado, variando dois eixos ortogonais:

1. Dimensão da Política de Privacidade ($L_P$): Cinco níveis de dificuldade crescente de raciocínio, variando de restrições explícitas de campos (P1) a restrições semânticas (P2), divulgação condicional (P3), divulgação parcial/abstrata (P4) e objetivos conflitantes (P5).
2. Estratégia de Ataque ($L_S$): Cinco estratégias usadas por um modelo de terceiro adversário para elicitar informações, variando de solicitações diretas de turno único (S1) a estreitamento sim/não (S2), confusão de papéis (S3), injeção de prompts (S4) e elicitação progressiva de múltiplos turnos (S5).

Geração de Dados e Avaliação

• Conjunto de Dados: O benchmark abrange 10 domínios (por exemplo, médico, jurídico, financeiro) com 7.852 amostras no total.
• Pipeline de Geração: As amostras são geradas a partir de perfis JSON estruturados contendo atributos relevantes para a tarefa ($A_{task}$), atributos protegidos ($A_{protected}$) e ruído irrelevante ($A_{other}$). Estes são renderizados em documentos fonte em linguagem natural, políticas de privacidade, instruções de tarefa e prompts de atacante.
• Desacoplamento: Um princípio de design crítico garante que a instrução da tarefa ($T$) não contenha dicas de privacidade, forçando o modelo a depender exclusivamente da política de privacidade ($P$) para restrições.
• Protocolo de Avaliação: Um modelo confiável ($T$) conversa com um modelo adversário fixo ($E$). A interação é pontuada de forma determinística usando verificações de pertinência a conjuntos baseadas em regex contra atributos de verdade fundamental, eliminando a necessidade de um juiz LLM no loop de pontuação.
  • Pontuação de Privacidade: A fração de atributos protegidos retidos com sucesso.
  • Pontuação de Utilidade: A fração de atributos relevantes para a tarefa compartilhados com sucesso.
  • Pontuação Geral: Uma combinação convexa de privacidade e utilidade (padrão $\lambda = 0.5$).

Principais Contribuições

1. Primeira Superfície de Diagnóstico Conjunta: O POLAR-Bench é o primeiro benchmark a variar a dimensão da política de privacidade e a estratégia de ataque como eixos conjuntos, criando uma superfície de avaliação 5 × 5 que revela modos de falha específicos em vez de pontuações agregadas.
2. Pontuação Determinística: Ao usar correspondência baseada em regex em verdade fundamental estruturada, o benchmark evita a subjetividade e os riscos de alucinação associados a juízes baseados em LLM para pontuação de resultados.
3. Cobertura Abrangente: O benchmark cobre 10 domínios diversos e 7.852 amostras, avaliando uma ampla gama de modelos proprietários e de pesos abertos (de 3B a 120B parâmetros).
4. Teste de Estresse de Defesa: O framework é projetado para ser compatível com defesas no momento da inferência, permitindo a avaliação de mecanismos como o PrivacyChecker.

Resultados

A avaliação de modelos de fronteira e de pesos abertos revela uma divisão nítida de desempenho:

• Modelos de Fronteira: Modelos atuais de fronteira (por exemplo, GLM-5.1, GPT-5.4, Gemma-4-31B, DeepSeek-V3.1) demonstram seguimento de intenções robusto, retendo mais de 99% dos atributos protegidos enquanto mantêm alta utilidade.
• Modelos Pequenos de Pesos Abertos: Modelos na faixa de 1–30B, que são comumente implantados como agentes em dispositivos ou com inferência privada, pontuam significativamente pior. Os modelos mais fracos vazam mais de 50% dos atributos protegidos. Alguns modelos menores mantêm a privacidade apenas sacrificando a utilidade (tornando-se excessivamente conservadores), enquanto outros priorizam a utilidade à custa da privacidade.
• Tamanho do Modelo vs. Capacidade: O tamanho do modelo sozinho não é um preditor confiável de privacidade ou utilidade. Os efeitos de escala são inconsistentes dentro das famílias de modelos. Em vez disso, a capacidade geral de raciocínio (proxyada por pontuações GPQA Diamond) mostra uma forte correlação positiva com a proteção de privacidade ($r=0.752$), mas uma correlação negativa fraca com a utilidade, sugerindo que raciocinadores mais fortes podem ser excessivamente conservadores.
• Vulnerabilidade a Ataques:
  • S2 (Estreitamento Sim/Não) e S5 (Progressivo de Múltiplos Turnos) são as estratégias de ataque mais eficazes, causando as maiores quedas nas pontuações de privacidade e a maior variância entre os modelos.
  • S1 (Direto de Turno Único) é o mais fácil de defender.
  • A robustez da privacidade não pode ser avaliada apenas por meio de ataques diretos; ataques incrementais e conversacionais são essenciais para uma avaliação precisa.
• Variabilidade de Domínio: Embora os rankings dos modelos permaneçam relativamente estáveis entre os domínios, o desempenho absoluto varia. "Suporte ao Cliente" é o domínio mais desafiador para utilidade, enquanto "Recrutamento" apresenta o maior risco de privacidade e variância.

Significado e Alegações

O artigo afirma que o POLAR-Bench fornece um "ponto de apoio necessário para o alinhamento de privacidade onde mais importa". Seu significado principal reside em localizar onde o seguimento de intenções de um modelo falha. Em vez de simplesmente relatar se um modelo falha, a superfície de diagnóstico identifica como ele falha:

• Se falha ao divulgar excessivamente informações protegidas.
• Se falha ao tornar-se excessivamente conservador para completar a tarefa.
• Se falha sob estratégias de ataque específicas ou tipos de política.

Os autores enfatizam que a lacuna entre os modelos de fronteira e a classe de pesos abertos de 1–30B é crítica para a implantação, pois os usuários dependem cada vez mais desses modelos menores e implantáveis localmente como agentes confiáveis para evitar o envio de dados privados para APIs de terceiros. O artigo postula que o alinhamento e as escolhas de treinamento impulsionam o desempenho mais do que a contagem de parâmetros sozinha, e que a capacidade de raciocínio correlaciona-se fortemente com a capacidade de reconhecer o que reter, mesmo que não garanta uma melhor conclusão da tarefa.

Finalmente, o benchmark serve como um teste de estresse para a próxima geração de alinhamento consciente de privacidade e defesas no momento da inferência, particularmente aquelas que visam a classe de modelos menores relevante para implantação.