MM-tau-p$^2$: Persona-Adaptive Prompting for Robust Multi-Modal Agent Evaluation in Dual-Control Settings

O artigo propõe o benchmark MM-tau-p$^2$, que introduz 12 novas métricas para avaliar de forma holística e robusta a adaptação de personalidade e a resiliência multimodal de agentes LLM em cenários de controle dual, preenchendo lacunas nas avaliações atuais focadas apenas em chat textual.

O essencial

Imagine que você está testando um novo assistente virtual, tipo um "Siri" ou "Alexa" superinteligente, mas que não apenas responde perguntas, mas resolve problemas reais (como cancelar uma assinatura de internet ou devolver uma compra).

O problema é que, até agora, os testes para esses robôs eram como fazer um exame de matemática em uma sala silenciosa e vazia. O robô recebia uma pergunta escrita e dava uma resposta. Mas na vida real? A vida real é barulhenta, as pessoas falam de formas diferentes, algumas são expert no assunto e outras não entendem nada, e às vezes a gente gagueja ou o robô entende errado.

Aqui está o que os autores desse artigo criaram para resolver isso, explicado de forma simples:

1. O Problema: O Robô Cego

A maioria dos testes atuais trata o usuário como um "robô sem personalidade". É como se você estivesse conversando com um fantasma que só diz o que precisa para o teste passar.

• Na vida real: Se você é um idoso que não entende de tecnologia, o atendente deve falar devagar e com calma. Se você é um engenheiro de telecomunicações, ele pode ser direto e técnico.
• O erro: Os robôs atuais não aprendem a adaptar o tom de voz ou a explicação baseada em quem está do outro lado. Eles são "cegos" para a personalidade do usuário.

2. A Solução: O "MM-tau-p2" (O Simulador de Vida Real)

Os autores criaram um novo "campo de provas" chamado MM-tau-p2. Pense nele como um simulador de voo para atendentes de call center, mas com duas características especiais:

• Dual-Control (Duplo Controle): Não é apenas o robô agindo. O "usuário" (que é outro robô inteligente simulando uma pessoa) também age. Ele pode ficar confuso, pedir para repetir, mudar de ideia no meio da conversa ou ficar irritado. É como um jogo de xadrez onde as duas peças se movem.
• Multi-Modal (Voz e Texto): O robô precisa ouvir a voz (que pode ter ruído, sotaque ou ser falada rápido) e também ler o texto. É como testar se o robô consegue dirigir no trânsito (voz) e não apenas em uma pista de corrida vazia (texto).

3. Os "Três Tipos de Usuários" (As Personas)

Para testar se o robô é bom de verdade, eles criaram três tipos de "pilotos" para o simulador:

1. O "Easy" (O Expert): Alguém que sabe exatamente o que quer e usa os termos técnicos corretos.
2. O "Hard" (O Iniciante): Alguém que não entende nada, fala de forma confusa, esquece detalhes e precisa de muita paciência.
3. O "Contexto Dinâmico": O robô tenta "ler a mente" do usuário durante a conversa. Se o usuário ficar irritado, o robô deve perceber e mudar o tom.

4. O Que Eles Mediram? (As Regras do Jogo)

Eles não olharam apenas se o robô "acertou a resposta". Eles criaram 12 novas regras para medir a qualidade da interação:

• Resiliência à Voz: Se o robô entende a voz, mas o sistema de transcrição erra uma palavra, ele consegue se recuperar? (Imagine alguém dizendo "Boston" e o robô ouvindo "Austin". O robô percebeu o erro e corrigiu?)
• Segurança (O Freio de Mão): Se o robô precisa cancelar uma conta ou cobrar dinheiro, ele pede confirmação? Se ele fizer isso sem pedir, é um desastre.
• Esforço do Usuário: Quantas vezes o usuário teve que repetir a mesma coisa? Se o robô faz a pessoa repetir muito, ele é ruim, mesmo que resolva o problema no final.
• Adaptação: O robô mudou o jeito de falar porque percebeu que o usuário era um iniciante?

5. As Descobertas Surpreendentes (O Que Eles Aprenderam)

Ao testar os robôs mais modernos do mundo (como GPT-4 e GPT-5), eles descobriram coisas que ninguém esperava:

• Voz é mais difícil: Mesmo os robôs mais inteligentes perdem um pouco de eficiência quando trocam o texto pela voz. É como trocar de um carro de Fórmula 1 para um carro de rua: ainda funciona, mas é mais lento e exige mais cuidado.
• O Paradoxo da Segurança: Quando o robô tenta ser "muito esperto" e adaptar sua personalidade para o usuário (contexto dinâmico), ele resolve o problema mais rápido, mas fica mais perigoso. Ele começa a cometer mais erros de segurança (como cancelar coisas sem confirmar). É como um motorista que dirige rápido demais: chega rápido, mas quase bate.
• O "Juiz" não é perfeito: Eles usaram outro robô (IA) para julgar se o teste foi bem-sucedido. Descobriram que, dependendo de qual IA usaram como juiz, o resultado mudava muito. Às vezes, um robô que transferiu o cliente para um humano era considerado um "sucesso" por um juiz e um "fracasso" por outro. Isso mostra que avaliar robôs é difícil e subjetivo.
• Robôs estáticos falham com iniciantes: Se você dá apenas uma "etiqueta" estática para o robô (ex: "trate este usuário como um iniciante"), ele falha. O robô precisa ler a conversa em tempo real e se adaptar a cada momento.

Resumo Final

Este artigo diz: "Chega de testar robôs em laboratórios silenciosos!"

Para criar assistentes virtuais que realmente funcionem no mundo real (onde as pessoas falam, gaguejam, ficam irritadas e têm níveis de conhecimento diferentes), precisamos de testes que incluam voz, personalidades variadas e situações de estresse.

Eles criaram uma "caixa de ferramentas" (o MM-tau-p2) com novas réguas de medição para garantir que, quando o robô falar com você, ele não seja apenas inteligente, mas também seguro, paciente e capaz de se adaptar ao seu jeito de ser.

Resumo técnico

Título: MM-tau-p2: Prompting Adaptativo de Persona para Avaliação Robusta de Agentes Multimodais em Configurações de Duplo Controle

1. Problema e Motivação

Os atuais frameworks de avaliação para agentes baseados em Grandes Modelos de Linguagem (LLMs) apresentam lacunas significativas quando aplicados a cenários de experiência do cliente (CX) modernos:

• Ambientes Cegos à Persona: A maioria dos benchmarks (como tau-bench) opera em ambientes "agnósticos ao usuário", onde o agente não tem acesso à personalidade, nível de expertise ou contexto do usuário. Na realidade, o comportamento do agente deve evoluir conforme ele aprende sobre o usuário.
• Falta de Multimodalidade: Com a proliferação de TTS (Text-to-Speech) e ASR (Automatic Speech Recognition) em tempo real, os agentes estão se tornando multimodais (voz + texto). No entanto, os benchmarks existentes não avaliam sistematicamente a robustez desses agentes sob entrada multimodal.
• Avaliação Estática: Benchmarks atuais tratam o usuário como um oráculo estático ou fornecedor limitado de informações, ignorando a lacuna entre "especialista e novato" e a necessidade de adaptação dinâmica em configurações de duplo controle (onde tanto o usuário quanto o agente influenciam ativamente o diálogo).
• Falta de Métricas Holísticas: Não há uma métrica unificada que avalie simultaneamente a robustez multimodal, a adaptação à persona, a eficiência no planejamento e a segurança.

2. Metodologia

O trabalho propõe o MM-tau-p2, um novo conjunto de benchmarks (benchmark suite) projetado para avaliar agentes multimodais em cenários de suporte ao cliente (Telecom e Varejo).

2.1. Configuração de Duplo Controle e Personas

• Protocolo de Interação: Ambos o agente e o usuário (simulado) têm controle sobre o diálogo. O usuário pode fornecer informações incompletas, corrigir o agente ou introduzir novas restrições.
• Condições de Persona: O benchmark testa três cenários de persona:
  1. Nenhuma (None): Linha de base neutra.
  2. Injeção de Persona (Persona Injection): Metadados da persona (expertise, ambiguidade) são fornecidos ao agente no início.
  3. Injeção de Contexto (Context Injection): O agente infere dinamicamente a personalidade do usuário com base nos últimos 16 mensagens da conversa, atualizando a cada 3 mensagens do usuário.
• Modalidades: Comparação entre interação apenas em texto e interação apenas em voz (com pipeline modular: Voz do Usuário → ASR → LLM Agente → Texto do Agente → TTS).

2.2. Pipeline de Avaliação

• Simulação: Utiliza um "Simulador Humano" para gerar o comportamento do usuário, controlando o nível de expertise (Fácil vs. Difícil) e a ambiguidade.
• Julgador LLM (LLM-as-Judge): A avaliação é automatizada usando LLMs (GPT-4.1 e GPT-5) como juízes. O juiz recebe prompts com rubricas bem definidas para atribuir rótulos em nível de turno e de conversa, minimizando viés de retrospecto.
• Domínios: Telecom e Varejo, com tarefas que envolvem chamadas de ferramentas (APIs) e critérios de sucesso específicos.

2.3. Conjunto de Métricas (12 Novas Métricas)

O MM-tau-p2 introduz 12 métricas divididas em quatro categorias:

1. Alcanço de Objetivo:
   • Precisão de Campos Críticos (CFA): Exatidão em dados sensíveis (IDs, nomes).
   • ARGA (ASR-Robust Goal Achievement): Probabilidade de sucesso apesar de erros de ASR.
   • Pontuação de Robustez Multimodal (MRS): Degradação do desempenho ao passar de texto para voz.
2. Eficiência:
   • Eficiência de Turno (TE) e Sobrecarga de Turno (TO): Razão entre turnos ótimos e reais; turnos extras em voz vs. texto.
   • Esforço do Usuário (UES): Contagem de repetições ou correções pelo usuário.
3. Recuperação:
   • Taxa de Recuperação de Erros (ERR) e Contagem de Turnos de Recuperação (RTC): Capacidade de corrigir falhas de ASR ou ações erradas.
4. Segurança e Clarificação:
   • Precisão e Recall de Segurança: Garantia de confirmação explícita antes de ações irreversíveis.
   • Precisão e Recall de Clarificação: Equilíbrio entre pedir esclarecimentos desnecessários e prosseguir com ambiguidades.

2.4. Métrica Composta (mm-tap)

Para permitir comparações holísticas, os autores propõem uma pontuação composta (mm-tap) que pondera as métricas acima (Equação 1 no artigo), permitindo ranquear diferentes arquiteturas de agentes.

3. Resultados Principais

Os experimentos foram conduzidos com agentes baseados em GPT-4.1 e GPT-5 nos domínios de Telecom e Varejo.

• Impacto da Multimodalidade: A transição de texto para voz introduz degradação mensurável. Em Telecom, a robustez multimodal (MRS) caiu para 0,87 com injeção de persona básica (próximo do limite de "pronto para voz" de 0,7), mas recuperou para 1,125 com injeção de contexto, sugerindo que o contexto dinâmico compensa o ruído da voz.
• Injeção de Persona vs. Contexto Dinâmico:
  • Para usuários experientes (Persona Fácil), a injeção simples de persona ou nenhum contexto funcionou melhor.
  • Para usuários inexperientes (Persona Difícil/Hard), a injeção estática de persona degradou o desempenho. O contexto dinâmico (inferido a cada turno) foi superior, pois permitiu que o agente se adaptasse às necessidades mutáveis do novato.
• Desempenho dos Juízes (GPT-4.1 vs. GPT-5):
  • O GPT-5 tendeu a ser mais otimista, atribuindo taxas de sucesso (pass rates) até 17 pontos percentuais maiores que o GPT-4.1, especialmente em Telecom.
  • O GPT-5 classificou mais frequentemente a "escalação para humano" como sucesso (se o agente identificou o problema), enquanto o GPT-4.1 foi mais rigoroso. Isso introduziu ruído na avaliação, pois a consistência do juiz varia conforme a dificuldade da tarefa.
• Segurança: As métricas de segurança (Precisão e Recall) permaneceram consistentemente baixas em todos os cenários, indicando que a detecção de limites de segurança é um ponto fraco persistente em LLMs de ponta, especialmente quando a injeção de contexto aumenta a complexidade da interação.
• Domínios: O domínio de Telecom mostrou maior fragilidade conversacional e necessidade de escalonamento devido à complexidade das tarefas, enquanto o Varejo foi mais estruturado e estável.

4. Contribuições Chave

1. Novo Benchmark (MM-tau-p2): Primeiro conjunto a avaliar simultaneamente robustez multimodal, adaptação de persona e eficiência de planejamento em configurações de duplo controle.
2. Métricas Inovadoras: Introdução de 12 métricas específicas para capturar nuances de agentes multimodais (ex: ARGA, MRS, Sobrecarga de Turno).
3. Descoberta sobre Adaptação de Persona: Evidência de que a injeção estática de persona é insuficiente para usuários novatos; a inferência dinâmica de contexto é necessária para manter a eficiência e a segurança.
4. Análise de Viés de Julgador: Demonstração de que a escolha do modelo LLM como juiz (GPT-4.1 vs. GPT-5) altera significativamente os resultados, especialmente na classificação de tarefas que requerem escalonamento.
5. Métrica Unificada (mm-tap): Proposta de uma pontuação composta para comparar agentes de forma holística, indo além da simples taxa de sucesso.

5. Significado e Conclusão

O trabalho demonstra que a avaliação de agentes multimodais não pode ser feita simplesmente adicionando componentes de voz a agentes de texto existentes. A introdução de voz e a adaptação à persona criam trade-offs complexos entre eficiência, robustez e segurança.

A principal conclusão é que, embora os LLMs de ponta (como GPT-5) sejam poderosos, eles ainda enfrentam desafios significativos em cenários de suporte ao cliente dinâmico, especialmente na detecção de limites de segurança e na gestão de ruído de voz. O MM-tau-p2 fornece a infraestrutura necessária para medir essas falhas e guiar o desenvolvimento de agentes mais robustos, seguros e adaptáveis, essenciais para a próxima geração de sistemas de experiência do cliente.

O artigo também destaca a necessidade futura de modelar fenômenos específicos de voz, como janelas de resposta perdidas, interrupções e sobreposição de fala (overtalk), que não são capturados em interações puramente textuais.