Towards Personalized Deep Research: Benchmarks and Evaluations

Este trabalho apresenta o PDR-Bench, o primeiro benchmark para avaliar agentes de pesquisa profunda personalizados, combinando tarefas diversificadas com perfis de usuários autênticos e propondo o framework PQR para medir alinhamento, qualidade e confiabilidade factual.

O essencial

Imagine que você tem um assistente de pesquisa superinteligente, capaz de vasculhar a internet, ler milhares de artigos e escrever relatórios complexos sobre qualquer coisa. Isso é o que chamamos de Agente de Pesquisa Profunda (DRA).

Até agora, a gente testava esses assistentes como se fossem estudantes fazendo uma prova de múltipla escolha: "Qual é a capital da Austrália?" ou "Quem ganhou a Copa de 1970?". Se eles acertavam o fato, ganhavam nota 10.

O problema? Na vida real, ninguém quer apenas fatos secos. Nós queremos respostas que façam sentido para a nossa vida.

É aqui que entra este novo trabalho, que pode ser chamado de "O Primeiro Teste de Personalização para Robôs Pesquisadores".

Aqui está uma explicação simples, usando analogias do dia a dia:

1. O Problema: O "Mecânico Cego"

Imagine que você vai a um mecânico e diz: "Meu carro está fazendo um barulho estranho".

• O jeito antigo (Benchmarks antigos): O mecânico olha o manual, diz "O barulho é normal em carros X" e vai embora. Ele acertou o fato, mas não ajudou você, porque seu carro é um modelo específico, você dirige em estradas de terra e tem um orçamento apertado.
• O jeito novo (O que este paper propõe): O mecânico ideal precisa saber: "Ah, você dirige em terra, então o barulho pode ser a suspensão. Como você tem pouco dinheiro, vamos tentar um conserto caseiro antes de trocar a peça inteira".

O papel diz que os robôs atuais são ótimos em "fatos", mas péssimos em "entender quem você é".

2. A Solução: O "PDR-Bench" (O Campo de Treino Personalizado)

Os autores criaram um novo campo de treino chamado PDR-Bench. Em vez de dar a mesma pergunta para todos, eles criaram uma situação onde o robô precisa lidar com 25 pessoas reais (com histórias, gostos, orçamentos e problemas diferentes) e 50 tarefas diferentes (como planejar uma viagem, escolher uma faculdade ou investir dinheiro).

• A Analogia do "Café com o Barista":
  Imagine que você pede um café.
  • Se você é um estudante de 20 anos sem dinheiro, o barista (o robô) deve sugerir um café forte e barato para você estudar.
  • Se você é uma mãe de 40 anos que trabalha muito, o barista deve sugerir um café relaxante e rápido para ela.
  • Se o barista der o mesmo café para os dois, ele falhou na "personalização", mesmo que o café seja tecnicamente bom.

O PDR-Bench testa exatamente isso: o robô consegue adaptar a resposta para o "perfil" da pessoa?

3. A Regra de Pontuação: O "Triângulo de Ouro" (PQR)

Como saber se o robô fez um bom trabalho? Eles criaram uma régua de três pontas, chamada PQR:

1. P - Personalização (Personalization): O relatório foi feito para mim? Ele considerou meu orçamento, meu nível de conhecimento e meus gostos?
   • Analogia: É como receber um presente. Se você ganha um livro de física quântica quando só gosta de quadrinhos, o presente é "falso" (não é personalizado), mesmo que o livro seja de alta qualidade.
2. Q - Qualidade do Conteúdo (Quality): O texto está bem escrito? Faz sentido? É profundo?
   • Analogia: O presente é bem embrulhado e o conteúdo é interessante?
3. R - Confiabilidade dos Fatos (Reliability): As informações são verdadeiras? Tem fontes?
   • Analogia: O presente é real ou é uma caixa de areia?

O robô precisa acertar nas três pontas para ganhar.

4. O Que Eles Descobriram? (Os Resultados)

Eles testaram vários robôs (alguns de empresas gigantes como Google e OpenAI, outros feitos por comunidades de código aberto) e descobriram coisas interessantes:

• Robôs de Código Aberto são mais "Ouvintes": Eles tendem a se adaptar melhor ao perfil da pessoa (Personalização), mas às vezes alucinam (inventam fatos).
• Robôs Comerciais são mais "Seguros": Eles dão fatos muito precisos e relatórios bem estruturados, mas às vezes soam genéricos, como se estivessem falando com todo mundo da mesma forma.
• O Segredo é o "Contexto": Quando você dá apenas a tarefa para o robô, ele erra. Quando você dá a tarefa + um perfil detalhado da pessoa (ex: "Sou um estudante de psicologia, tenho pouco tempo e gosto de yoga"), o robô fica muito melhor.
• Memória é o Futuro: Eles testaram sistemas que tentam "lembrar" das conversas do usuário para criar esse perfil. Funciona, mas ainda não é perfeito. O robô precisa aprender a transformar conversas soltas em um "perfil de usuário" claro.

5. Conclusão Simples

Este trabalho é como a primeira prova de "Inteligência Emocional" para robôs de pesquisa.

Antes, a gente perguntava: "O robô sabe a resposta?"
Agora, a gente pergunta: "O robô sabe a resposta para mim?"

O objetivo final é criar assistentes de IA que não sejam apenas enciclopédias falantes, mas verdadeiros assistentes pessoais que entendem que o que é bom para um CEO de uma grande empresa pode ser terrível para um estudante universitário. Eles estão construindo as ferramentas para garantir que, no futuro, sua IA saiba exatamente quem você é e o que você precisa.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Towards Personalized Deep Research: Benchmarks and Evaluations", publicado na ICLR 2026, em português:

1. Problema e Motivação

Os Agentes de Pesquisa Profunda (DRAs - Deep Research Agents) evoluíram para realizar investigações complexas e gerar relatórios abrangentes de forma autônoma. No entanto, as avaliações existentes apresentam duas lacunas críticas:

• Foco em Tarefas Fechadas: A maioria dos benchmarks atuais (como GAIA, BrowseComp) baseia-se em perguntas com respostas fechadas, focando apenas na precisão factual e na abrangência, ignorando a adaptação ao usuário.
• Ausência de Personalização Realista: Embora existam benchmarks de personalização (como LaMP, PersonaGym), eles são limitados a diálogos ou recomendações simples e não abordam a complexidade de uma pesquisa profunda.
• O Desafio: Decisões do mundo real (investimentos, saúde, carreira) exigem que o agente não apenas encontre informações, mas adapte a filtragem, o raciocínio e as recomendações às necessidades, preferências, orçamento e conhecimento prévio específicos de cada usuário. A falta de uma métrica padronizada para avaliar essa "personalização" impede o desenvolvimento de assistentes de IA verdadeiramente úteis.

2. Metodologia e Construção do Benchmark

Os autores introduzem o PDR-Bench (Personalized Deep Research Bench), o primeiro benchmark projetado especificamente para avaliar a personalização em DRAs.

A. Construção do Dataset (250 Consultas)

O benchmark foi construído através de um pipeline rigoroso (Figura 1 do artigo):

1. Definição de Tarefas: Foram criadas 50 tarefas de pesquisa profunda distintas, cobrindo 10 domínios (ex: Educação, Carreira, Saúde, Finanças, Viagem). As tarefas foram validadas por comitês de especialistas para garantir complexidade, clareza e alinhamento com cenários de personalização.
2. Construção de Perfis de Usuário Autênticos:
   • 25 Perfis Reais: Recrutaram-se 25 voluntários com perfis demográficos diversos.
   • Dados Estruturados (Persona Explícita): Coletaram-se atributos estáticos (idade, profissão, histórico familiar, preferências) em um esquema padronizado.
   • Contexto Dinâmico: Anotadores simularam interações diárias desses usuários em um aplicativo (logs de eventos, conversas com assistente) para capturar interesses evolutivos e preferências implícitas.
3. Formulação de Consultas Personalizadas: Em vez de um pareamento aleatório, utilizou-se um protocolo guiado por comitê para parear cada uma das 50 tarefas com 5 perfis de usuários relevantes, gerando 250 consultas únicas (Tarefa-Usuário).

B. Framework de Avaliação PQR

Para medir o desempenho, foi proposto o Framework PQR, que avalia os relatórios gerados em três dimensões ortogonais:

1. P - Alinhamento de Personalização (Personalization Alignment):
   • Avalia se o relatório atende aos objetivos explícitos e implícitos do usuário.
   • Métricas: Alinhamento de Objetivo, Alinhamento de Conteúdo, Adequação de Apresentação e Ação/Praticidade.
   • Mecanismo Dinâmico: Um LLM atua como meta-avaliador para atribuir pesos dinâmicos aos critérios com base na tarefa e no perfil específico do usuário, gerando critérios granulares para cada par.
2. Q - Qualidade do Conteúdo (Content Quality):
   • Avalia a qualidade intrínseca do relatório, independentemente do usuário.
   • Métricas: Profundidade e Insight, Coerência Lógica, Clareza e Legibilidade.
3. R - Confiabilidade Factual (Factual Reliability):
   • Avalia a precisão das informações e o uso de fontes.
   • Métricas: Precisão Factual (FA) e Cobertura de Citações (CC), utilizando verificação automática de afirmações contra fontes extraídas.

3. Resultados Principais

Os autores avaliaram uma variedade de sistemas, incluindo DRAs comerciais (Gemini, O3, Perplexity), agentes de código aberto (OAgents, DeerFlow, MiroFlow) e LLMs com ferramentas de busca.

• Desempenho Geral:

  • Agentes de Código Aberto (OAgents, MiroFlow): Destacaram-se na Personalização (P), obtendo as maiores pontuações em alinhamento de objetivos e adequação de apresentação. No entanto, sofreram com baixa precisão factual e cobertura de citações.
  • Agentes Comerciais (Gemini-2.5-Pro, O3): Ofereceram um equilíbrio melhor, com alta confiabilidade factual e qualidade de conteúdo consistente, mas ficaram ligeiramente atrás dos agentes de código aberto em personalização profunda.
  • LLMs com Ferramentas de Busca: Desempenho inferior em personalização e qualidade em comparação com agentes dedicados de pesquisa profunda.

• Impacto da Disponibilidade de Informação:

  • A personalização melhora consistentemente à medida que mais informações são fornecidas: Apenas Tarefa < Tarefa + Contexto < Tarefa + Persona Explícita.
  • Personas Explícitas superam significativamente o contexto implícito, indicando que os agentes atuais têm dificuldade em extrair preferências complexas de dados não estruturados sem ajuda explícita.

• Sistemas de Memória:

  • Testes com sistemas de memória (Mem0, Memory OS, O-Mem) mostraram que, embora possam melhorar ligeiramente a personalização ao converter contexto em perfis, ainda existe uma lacuna significativa em relação ao uso de uma persona explícita.

• Validação Humana:

  • O framework de avaliação (usando GPT-5 como juiz) demonstrou alta concordância com especialistas humanos (PCA de 0.43 e baixa desvio absoluto), validando a eficácia da metodologia PQR.

4. Contribuições Chave

1. Definição Formal da Tarefa: Introduziu o conceito de "Pesquisa Profunda Personalizada", exigindo que os DRAs adaptem a recuperação, o raciocínio e o relatório ao perfil do usuário.
2. PDR-Bench: O primeiro benchmark com 250 consultas realistas combinando 50 tarefas complexas e 25 perfis de usuários autênticos e multifacetados.
3. Framework PQR: Uma metodologia de avaliação holística que integra personalização, qualidade e factualidade, superando as limitações de métricas unidimensionais.
4. Análise Empírica: Revelou que, embora os sistemas comerciais sejam mais confiáveis, os agentes de código aberto atuais são mais adaptáveis à personalização, mas carecem de precisão factual.

5. Significado e Impacto

Este trabalho estabelece uma fundação rigorosa para a próxima geração de assistentes de pesquisa de IA. Ao demonstrar que a personalização é um componente crítico (e atualmente negligenciado) da utilidade prática de um DRA, o PDR-Bench fornece o padrão necessário para:

• Guiar o desenvolvimento de agentes que não apenas "sabem" fatos, mas "entendem" o usuário.
• Identificar gargalos atuais, como a dificuldade de sintetizar contexto implícito em perfis acionáveis.
• Promover a criação de assistentes de IA que sejam verdadeiramente úteis para decisões complexas do mundo real, onde o contexto pessoal é tão importante quanto a informação factual.

O artigo conclui que, para que os DRAs atinjam seu potencial total, a pesquisa deve evoluir de benchmarks focados apenas na precisão para avaliações que priorizem a adaptação contextual e a relevância para o usuário.