Resumo Técnico: ProactBench

Definição do Problema

As atuais avaliações de benchmarks para Modelos de Linguagem de Grande Escala (LLM) avaliam predominantemente a competência reativa: a capacidade de um modelo responder adequadamente a solicitações explícitas do usuário. Embora os modelos tenham melhorado significativamente no seguimento de instruções, uma capacidade conversacional crítica permanece não mensurada: a proatividade conversacional. Esta é definida como a capacidade de perceber e agir sobre necessidades que o usuário implicou, mas não declarou explicitamente.

As avaliações existentes frequentemente falham em distinguir entre assistência proativa genuína e comportamentos reativos, tais como:

• Seguimento de instruções: Conformidade polida a solicitações óbvias.
• Busca de esclarecimentos: Solicitação de informações que o usuário já forneceu.
• Utilidade genérica: Encerramentos padronizados (ex: "Avise-me se precisar de algo") que não agregam valor fundamentado.
• Sycofância: Comportamento conciliador, mas epistemicamente fraco.

O artigo argumenta que a verdadeira proatividade exige que um modelo infira implicações não declaradas a partir de detalhes revelados e introduza valor prospectivo útil sem ser solicitado.

Metodologia

O ProactBench introduz um novo framework de avaliação projetado para medir a proatividade em três fases distintas de conversação, utilizando uma arquitetura de três agentes para garantir validade.

1. Os Três Tipos de Gatilho

O benchmark decompõe a proatividade em tipos de gatilho vinculados a fases, cada um com rubricas específicas:

• EMERGENTE (Turnos 1–3): Inferir uma necessidade não declarada a partir de um único ponto de ancoragem revelado (detalhe factual) no início da conversa.
• CRÍTICO (Turnos 4–7): Sintetizar múltiplos pontos de ancoragem revelados em uma nova conclusão no meio do diálogo.
• RECUPERAÇÃO (Turnos 8–10): Oferecer valor prospectivo fundamentado após o usuário sinalizar a conclusão da tarefa. Esta fase é crítica porque é onde os modelos frequentemente soam úteis enquanto não dizem nada útil.

2. Arquitetura de Avaliação de Três Agentes

Para se defender contra pontuação confundida por estilo, vazamento de rubricas, contaminação por contexto externo e despejos de informação, o benchmark emprega:

• O Planejador: Elabora a estratégia de diálogo, decide quando um gatilho ocorre e compromete-se com uma rubrica prospectiva antes do modelo responder. Ele vê a persona e o cenário, mas não o estilo de comunicação.
• O Agente Usuário: Transforma as ordens táticas do Planejador em mensagens naturais de usuário baseadas em uma persona específica e em um dos 24 estilos de comunicação derivados do Inventário de Estilos de Comunicação (CSI).
• O Modelo Assistente: Recebe apenas o histórico de conversa natural. Ele é cego à persona, à rubrica, ao cronograma de gatilhos e aos objetivos ocultos.
• O Juiz Offline: Reexecuta apenas os turnos de gatilho de um diálogo curado para pontuar a resposta contra a rubrica fixa, garantindo contextos idênticos para todos os modelos avaliados.

3. Conjunto de Dados e Protocolo

• Corpus: 198 diálogos curados contendo 624 pontos de gatilho.
• Variabilidade: Os diálogos abrangem 24 estilos de comunicação (combinações de 6 traços do CSI: expressividade, precisão, agressividade verbal, questionamento, emocionalidade e manipulação de impressão) e 5 domínios da vida (Profissional, Esportes, Artes, Viagem, Culinária).
• Curadoria: Os diálogos foram gerados usando um isolamento de "início frio", onde o modelo de curadoria (Gemini-2.5-Pro) não tinha acesso à rubrica ou aos objetivos ocultos, garantindo que o histórico de conversa contenha apenas informações que um assistente real possuiria naturalmente.
• Pontuação: As respostas são classificadas como Aprovado, Parcial ou Reprovado com base em se atendem ao princípio proativo (ex: inferência de âncora única, síntese de múltiplas âncoras ou valor prospectivo fundamentado).

Principais Contribuições

1. Definição de Proatividade Conversacional: Uma definição formal que separa a proatividade do seguimento de instruções, esclarecimentos e utilidade genérica, estruturada em três tipos de gatilho vinculados a fases.
2. Arquitetura de Avaliação: Um sistema de três agentes (Planejador, Agente Usuário, Assistente) com assimetrias de informação que mitiga quatro ameaças específicas de validade comuns em avaliações do tipo "LLM como juiz".
3. O Corpus ProactBench: Um lançamento de 198 diálogos com 624 gatilhos, fundamentado em personas sintéticas dos EUA e variado em 24 estilos de comunicação, auditado por um juiz LLM independente.
4. Avaliação Empírica: Uma avaliação abrangente de 16 modelos de ponta e de peso aberto, revelando que a RECUPERAÇÃO é uma capacidade distinta que se descorrelaciona dos benchmarks padrão.
5. Validação Humana: Um estudo humano pareado demonstrando que respostas proativas condicionadas a rubricas são preferidas em relação a gerações padrão em 80% das comparações sem empate, confirmando que o benchmark mede uma capacidade valorizada por humanos.

Resultados

A avaliação de 16 modelos (incluindo GPT-5.5, Claude-Opus-4.7, Qwen3.5 e variantes Llama) produz várias descobertas-chave:

• RECUPERAÇÃO é Difícil e Distinta: RECUPERAÇÃO é o tipo de gatilho mais difícil. O melhor modelo (GPT-5.5) aprova apenas 37,2% dos gatilhos de RECUPERAÇÃO, enquanto 14 dos 16 modelos aprovam menos de 20%.
• Descorrelação com Benchmarks Padrão: Enquanto as pontuações EMERGENTE e CRÍTICO correlacionam-se fortemente com benchmarks existentes (GPQA, MMLU, SWE-bench, etc.), a RECUPERAÇÃO não. Sua correlação média com seis benchmarks padrão é $\bar{r} = 0,51$ (IC 95% [0,29, 0,71]), comparado a $\bar{r} \approx 0,83$ para os outros tipos.
  • Exemplo: O Kimi-K2.6 supera o GPT-5.5 no LiveCodeBench e no SWE-bench, mas pontua 5 vezes menos na RECUPERAÇÃO (7,4% vs. 37,2%).
• Política vs. Capacidade: A lacuna no desempenho de RECUPERAÇÃO parece refletir uma diferença de política (ex: mistura de dados pós-treinamento e feedback de sessão do usuário) em vez de um teto de capacidade pura. O GPT-5.5 exibe uma política "uniforme em estilo", mantendo alto desempenho de RECUPERAÇÃO em estilos de usuário difíceis, enquanto outros modelos fortes concentram sua vantagem em estilos mais fáceis.
• Modos de Falha:
  • Modelos fechados de ponta (excluindo o GPT-5.5) falham predominantemente via encerramentos genéricos (sinais de fim polidos, mas vazios).
  • O GPT-5.5 e modelos menores de peso aberto falham predominantemente via repetição de entregáveis (reafirmar a tarefa concluída sem adicionar novo valor).
• Preferência Humana: Em um estudo controlado, humanos preferiram respostas geradas com a rubrica de RECUPERAÇÃO como instrução de sistema em relação a gerações padrão em 80% dos casos, mesmo quando a resposta padrão já havia aprovado a rubrica.

Significado e Alegações

O artigo afirma que o ProactBench identifica um "ponto cego" na avaliação atual de LLMs. Embora os modelos estejam se tornando cada vez mais capazes de seguir instruções, eles lutam para fornecer valor prospectivo fundamentado após uma tarefa estar ostensivamente concluída.

Os autores afirmam que:

1. RECUPERAÇÃO é um novo sinal de avaliação: É fracamente prevista por benchmarks padrão de raciocínio e codificação, sugerindo que mede uma capacidade comportamental distinta.
2. A proatividade é preferida por humanos: Os comportamentos proativos específicos definidos e medidos pelo ProactBench não são apenas "excesso de estilo de babá", mas são genuinamente preferidos por avaliadores humanos quando fundamentados em detalhes específicos revelados.
3. A lacuna é comportamental, não apenas cognitiva: A variação no desempenho de RECUPERAÇÃO entre modelos sugere que os modelos de ponta atuais diferem em sua "política" regarding iniciativa, provavelmente impulsionada por dados de alinhamento, em vez de uma falta fundamental de capacidade de raciocínio.

O artigo conclui que o ProactBench serve como uma sonda de capacidade para este comportamento específico, oferecendo um substrato para modelagem de recompensa e aprendizado de preferência para ensinar aos modelos quando a iniciativa é bem-vinda, em vez de treiná-los para serem maximamente proativos em todos os contextos.