Resumo Técnico: DRIP-R

Declaração do Problema

Enquanto agentes de Modelos de Linguagem de Grande Escala (LLM) são cada vez mais implantados em domínios de alto risco como varejo, saúde e finanças, os benchmarks existentes falham em avaliar seu desempenho sob ambiguidade de políticas do mundo real. As avaliações atuais de agentes geralmente dependem de políticas "especificadas de forma limpa", estreitas e não ambíguas, projetadas especificamente para o benchmark. No entanto, políticas de domínio do mundo real (por exemplo, a política de devoluções da Amazon) são frequentemente incompletas, contêm suposições implícitas e admitem múltiplas interpretações válidas.

Essa lacuna cria um ponto cego crítico de avaliação: quando valores legítimos entram em conflito (por exemplo, satisfação do cliente versus conformidade regulatória), não existe uma única resolução "correta". Organizações humanas navegam nisso por meio de salvaguardas institucionais (discricionariedade, escalonamento, precedente), mas agentes de LLM podem carecer de mecanismos comparáveis, potencialmente explorando brechas ou produzindo resultados não intencionais enquanto aparentam estar em conformidade com a política. O artigo postula que a ambiguidade representa um desafio sistemático para a tomada de decisão de LLMs que os benchmarks atuais não capturam.

Metodologia

Construção do Benchmark (DRIP-R)

Os autores introduzem o DRIP-R (Tomada de Decisão e Raciocínio em Política Ambígua para Varejo), um benchmark fundamentado na política de devoluções publicamente disponível da Amazon. O processo de construção envolve:

1. Extração de Ambiguidade: Uso de LLMs (GPT-4.1) e especialistas humanos para identificar e verificar ambiguidades de políticas com base em uma taxonomia que inclui vagueza, ambiguidade semântica, ambiguidade referencial, incompletude e ambiguidade de coordenação.
2. Geração de Tarefas: Criação de 40 tarefas únicas de "Devolução de Pedido" onde a resolução depende de pelo menos uma cláusula de política ambígua. Cada tarefa envolve detalhes específicos do produto, cronogramas e circunstâncias do cliente.
3. Integração de Personas:
   • Personas de Usuário: 10 personas distintas derivadas do conjunto de dados Persona-Hub, aumentadas com traços de personalidade Big Five, estilos de comunicação (direto/indireto, rapport/report) e estilos linguísticos.
   • Personas de Agente: 5 personas de agente distintas (Direto, Justo, Amigável, Útil, Muito Útil) baseadas no framework Big Five para testar como a disposição do agente influencia os resultados.
4. Ambiente de Simulação: Uma simulação conversacional full-duplex modelada como um Processo de Decisão de Markov Parcialmente Observável Descentralizado (Dec-POMDP). O agente interage com um usuário simulado, utilizando capacidades de chamada de ferramentas (por exemplo, get_order_details) para reunir fatos antes de tomar decisões. A conversa termina após resolução, abortamento pelo usuário ou alcance do limite de turnos (20 turnos).

Framework de Avaliação

O DRIP-R substitui métricas de sucesso binárias por um framework de avaliação multidimensional usando uma abordagem de "LLM-como-Juiz". Cinco juízes paralelos (usando GPT-5) avaliam conversas em quatro dimensões principais, cada uma com submétricas:

1. Adesão à Política: Mede se as mensagens do agente e a resolução final estão fundamentadas no texto da política fornecida (justificáveis, não necessariamente "corretas"). Inclui justificação por turno e suporte ao resultado da resolução.
2. Qualidade do Diálogo: Avalia a competência conversacional, incluindo consistência, progressão lógica em direção à resolução e verbosidade.
3. Alinhamento Comportamental: Avalia se agentes e usuários agem consistentemente com suas personas atribuídas e valores implícitos (baseados na teoria de valores de Schwartz: Conformidade, Benevolência, Autodireção, Segurança, Universalismo, Poder).
4. Resolução de Tarefa e Alinhamento de Interesses:
   • Resolução de Tarefa: O resultado aborda o pedido específico do usuário e as restrições?
   • Alinhamento de Interesses: Mede o equilíbrio entre a satisfação do objetivo do cliente e a proteção dos interesses da empresa.

Calibração: Os juízes são calibrados contra anotações humanas (3 especialistas) usando Amostragem Few-Shot Preservadora de Distribuição (DPFS) e G-Eval para minimizar viés e maximizar o acordo adjacente (acordo dentro de um ponto em uma escala de 5 pontos).

Principais Contribuições

1. Benchmark DRIP-R: O primeiro benchmark de código aberto especificamente projetado para avaliar agentes de LLM em cenários realistas de devolução de varejo com ambiguidade de políticas. Utiliza políticas multidoocumento do mundo real com alta complexidade linguística (nível de série Flesch-Kincaid ~11,89), contrastando com benchmarks anteriores que usam regras simplificadas de documento único.
2. Infraestrutura de Avaliação Multidimensional: Um pipeline de simulação e avaliação inovador que avalia agentes não apenas na conclusão da tarefa, mas na adesão à política, alinhamento comportamental com personas e nas compensações entre interesses do cliente e da empresa.
3. Análise Empírica da Ambiguidade: Um estudo sistemático revelando como diferentes LLMs raciocinam, interagem e tomam decisões sob ambiguidade, destacando que a ambiguidade é um desafio genuíno e sistemático.

Resultados

Os autores avaliaram quatro modelos (dois de código aberto: gpt-oss-120b, Qwen3-35B-A3B; dois apenas via API: gpt-5, gpt-4.1) em 400 cenários (40 tarefas × 10 personas).

• Desacordo Fundamental: Modelos de fronteira discordam fundamentalmente em cenários ambíguos idênticos. Apenas 4,2% dos cenários resultaram em acordo total (todos os modelos convergindo para a mesma resolução), enquanto 13,3% resultaram em desacordo total (cada modelo produzindo um resultado distinto).
• Trajetórias de Adesão à Política: A adesão à política é geralmente alta no início das conversas, mas diverge à medida que a conversa progride. Modelos como Qwen3-35B e gpt-oss-120b mostraram divergência significativa entre seu raciocínio declarado e resoluções finais, particularmente em resultados de concessão de reembolso. O GPT-5 manteve adesão uniformemente alta, independentemente do resultado.
• Impacto das Personas:
  • Personas de Usuário: Personas de usuários altamente extrovertidos e neuróticos foram associadas a resultados que favorecem objetivos do cliente sobre interesses da empresa. Personas mais amigáveis correlacionaram-se com maior alinhamento aos interesses da empresa.
  • Personas de Agente: Personas de agentes ancoraram resultados de forma confiável. Agentes DIRECT consistentemente produziram as maiores taxas de negação, enquanto agentes VERY_HELPFUL produziram as menores. No entanto, a alternativa específica à negação (por exemplo, reembolso total versus escalonamento) variou por modelo.
• Tipos de Ambiguidade: Diferentes tipos de ambiguidade (por exemplo, Ambiguidade de Coordenação) direcionam sistematicamente agentes para estratégias diferentes. A Ambiguidade de Coordenação foi encontrada como particularmente difícil para os agentes resolverem consistentemente com seu raciocínio declarado.

Significado e Alegações

O artigo alega que o DRIP-R estabelece uma fundação para a construção de sistemas de IA responsáveis que operam sob a ambiguidade inerente de políticas do mundo real. Ao demonstrar que os modelos de fronteira atuais carecem de consenso em tarefas ambíguas, os autores argumentam que a ambiguidade não é um caso de borda menor, mas uma dificuldade central na implantação de agentes.

O trabalho destaca que:

• Os benchmarks atuais abstraem a "dificuldade central" da implantação no mundo real.
• A ambiguidade leva a desafios sistemáticos na tomada de decisão, onde agentes podem produzir resultados tecnicamente válidos, mas não intencionais.
• Avaliar agentes requer ir além do sucesso binário para entender como eles interpretam a ambiguidade, justificam decisões e equilibram interesses de partes interessadas concorrentes.

Os autores notam modestamente limitações, incluindo o foco atual no domínio do varejo (embora o framework seja generalizável) e a dependência de um documento de política primário. Eles identificam a expansão do benchmark para outros domínios de alto risco (aviação, saúde, jurídico) e testes em um conjunto mais amplo de modelos como vias diretas para trabalho futuro.