Overview of the TREC 2025 Retrieval Augmented Generation (RAG) Track

O segundo track de Geração Aumentada por Recuperação (RAG) do TREC 2025 avança a pesquisa em sistemas que integram recuperação e geração para atender a necessidades informacionais complexas, introduzindo consultas narrativas longas e um quadro de avaliação multifacetado para fomentar a criação de sistemas confiáveis e contextualmente conscientes.

O essencial

Imagine que você está tentando resolver um mistério complexo, como "Como o esporte afeta a sociedade?". Antigamente, os sistemas de busca funcionavam como um caçador de palavras-chave: se você digitasse "esporte" e "dinheiro", eles te davam uma lista de documentos que continham essas duas palavras, mas muitas vezes sem contexto ou profundidade.

O artigo que você leu descreve o TREC 2025, um grande campeonato mundial onde cientistas de computação competem para criar a próxima geração de assistentes de IA. O objetivo não é mais apenas "encontrar" informações, mas sim entender, raciocinar e contar uma história completa baseada em fatos.

Aqui está uma explicação simples do que aconteceu, usando analogias do dia a dia:

1. A Mudança de Jogo: De "Caça-Palavras" para "Detetives"

No ano passado, as perguntas eram curtas e diretas. Neste ano (2025), os organizadores mudaram as regras. Em vez de perguntas simples, eles criaram narrativas complexas.

• A Analogia: Imagine que antes você perguntava a um bibliotecário: "Onde está o livro sobre futebol?". Agora, você diz: "Estou interessado no impacto social do esporte, especialmente sobre como os atletas são pagos, a inclusão de minorias, a influência cultural e o lado dos negócios. Também quero entender como o equipamento e a mentalidade mudaram o esporte."
• O Desafio: A IA precisa agir como um detetive experiente. Ela não pode apenas jogar uma resposta genérica; ela precisa ler centenas de documentos, conectar os pontos e escrever um relatório que responda a todas essas partes da sua história, citando exatamente de onde tirou cada informação.

2. As Quatro Provas do Campeonato

Os participantes tiveram que criar sistemas que passassem por quatro etapas, como se fossem fases de um jogo de vídeo game:

• A Prova de Busca (Retrieval): O sistema precisa encontrar as "peças do quebra-cabeça" certas em uma biblioteca gigante (o corpus MS MARCO). Se ele pegar a peça errada, o resto do jogo falha.
• A Prova de Geração (Generation): O sistema recebe as peças certas e precisa montar a imagem (a resposta). Ele deve escrever um texto claro, com no máximo 400 palavras.
• A Prova Completa (RAG - Retrieval Augmented Generation): Aqui, o sistema faz tudo sozinho: busca as peças e monta a imagem. É o teste final de autonomia.
• A Prova de Julgamento (Relevance Judgment): Os participantes também tiveram que atuar como juízes, dizendo o quão útil cada documento encontrado era para a pergunta.

3. O Sistema de Pontuação: Como sabemos quem ganhou?

Aqui está a parte mais criativa. Como julgar se uma resposta de IA é boa? Eles usaram um sistema de três camadas, como se fosse uma inspeção de qualidade em uma fábrica de carros:

1. Relevância (O Motor): A resposta tem o motor certo? Ou seja, ela cobre os pontos principais da pergunta? Eles quebraram a pergunta grande em "sub-perguntas" (ex: "pagamento", "inclusão", "negócios") e viram se o texto respondeu a cada uma delas.
2. Cobertura (O Chassi): A resposta é completa? Eles criaram "nuggets" (pequenas unidades de informação valiosa, como "atletas mulheres recebem menos"). Se a resposta do sistema incluir esses nuggets, ganha pontos.
3. Atribuição (O Freio de Segurança): Esta é a parte mais importante para evitar "alucinações" (mentiras). Cada frase da resposta da IA precisa ter uma citação (um "link" para o documento original).
   • Analogia: Se a IA diz "O salário dos atletas subiu 10%", ela deve mostrar o documento que prova isso. Se ela inventar o número, é como um carro sem freios: perigoso e desclassificado.

4. O Grande Resultado: Humanos vs. Robôs

Um dos maiores desafios foi: "Podemos confiar em robôs para julgar o trabalho de outros robôs?"

• Os organizadores usaram um exército de IAs superpoderosas (como GPT-4 e Qwen) para tentar imitar os juízes humanos.
• O Veredito: Funciona muito bem! Em nível geral (quando olhamos para o ranking de todos os sistemas), as IAs conseguiram imitar os humanos com grande precisão. É como se um juiz robótico conseguisse dizer "Este time jogou melhor que aquele" com quase a mesma certeza que um humano.
• No entanto, em detalhes muito específicos (frase por frase), ainda há pequenas diferenças, como um juiz que às vezes é mais rigoroso que o outro.

Resumo Final

O TREC 2025 RAG Track foi um marco porque mostrou que estamos saindo da era da "busca simples" para a era da "busca inteligente e confiável".

O objetivo final não é apenas ter um robô que fala bonito, mas ter um assistente de pesquisa que:

1. Entende perguntas complexas e cheias de detalhes.
2. Busca a verdade em documentos reais.
3. Cita suas fontes (como um bom jornalista).
4. Não inventa fatos.

É um passo gigante para criar IAs que podemos realmente confiar para nos ajudar a tomar decisões importantes no mundo real, seja na medicina, no direito ou no jornalismo.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo "Overview of the TREC 2025 Retrieval Augmented Generation (RAG) Track", traduzido e estruturado em português:

Visão Geral do TREC 2025 RAG Track

O artigo apresenta a segunda edição do Track de Geração Aumentada por Recuperação (RAG) da conferência TREC (Text Retrieval Conference). O objetivo principal é avançar a pesquisa em sistemas que integram recuperação de informação e geração de texto para atender a necessidades de informação complexas e do mundo real, focando em transparência e fundamentação factual.

---

1. O Problema e a Motivação

• Transição de Consultas: Diferente do track de 2024, que utilizava consultas curtas baseadas em palavras-chave, o TREC 2025 introduziu narrativas longas e multi-sentenças. Essas consultas simulam cenários de "busca profunda" (deep search), exigindo que os sistemas interpretem nuances, cubram evidências amplas e forneçam respostas baseadas em raciocínio.
• Desafios do RAG: O track aborda a dificuldade de criar sistemas que não apenas recuperem documentos relevantes, mas que também gerem respostas completas, contextualizadas e com citações precisas (atribuição) que suportem factualmente cada afirmação feita.
• Corpus: O track utiliza o corpus MS MARCO V2.1, que foi segmentado e deduplicado para suportar tarefas de recuperação e geração fundamentada.

---

2. Metodologia e Configuração da Tarefa

O track foi dividido em quatro tarefas interconectadas, todas baseadas em 105 narrativas geradas automaticamente a partir de clusters de consultas relacionadas:

1. Recuperação (R): Os participantes devem retornar uma lista classificada dos 100 melhores segmentos (chunks) do corpus MS MARCO V2.1 para cada narrativa.
2. Geração Aumentada (AG): Os participantes recebem uma lista de documentos recuperados (fixa, fornecida pelos organizadores) e devem gerar uma resposta de até 400 palavras, com citações de nível de frase aos segmentos de suporte.
3. Geração Aumentada por Recuperação (RAG): Avaliação de ponta a ponta, onde os participantes trazem seus próprios recuperadores, rerankers e geradores.
4. Julgamento de Relevância (RJ) - Nova Tarefa: Os participantes devem fornecer julgamentos de relevância para documentos individuais em relação às narrativas.

Processo de Geração de Sub-narrativas

Para lidar com a complexidade das consultas longas, as narrativas foram decompostas em sub-narrativas (ou sub-consultas atômicas) usando um processo semi-automático:

• Geração: Uso de LLMs (GPT-4.1 nano e GPT-4.1) para extrair sub-consultas independentes e não sobrepostas.
• Refinamento: As sub-consultas são refinadas para garantir que cubram todos os aspectos da narrativa original, classificadas como "vital" (essenciais) ou "okay" (desejáveis).
• Exemplo: Uma narrativa sobre o impacto social do esporte foi decomposta em sub-narrativas como "compensação de atletas", "inclusão", "influência cultural" e "aspectos comerciais".

---

3. Framework de Avaliação Multi-camadas

O track adotou uma avaliação rigorosa e em camadas para medir a qualidade da recuperação, completude da resposta e fundamentação factual:

A. Avaliação de Relevância (Relevance Assessment)

• Escala: Os documentos são classificados de 0 a 4 com base na cobertura das sub-narrativas:
  • 0: Irrelevante.
  • 1: Relacionado, mas sem resposta específica.
  • 2: Responde a 1 sub-narrativa.
  • 3: Responde a 2-3 sub-narrativas.
  • 4: Responde a 4+ sub-narrativas (Perfeitamente Relevante).
• Automação: Um ensemble de LLMs (GPT-4.1, Gemini 2.5 Pro, Qwen3, GPT-OSS) foi utilizado para gerar julgamentos automáticos, validados contra julgamentos humanos do NIST.

B. Avaliação de Resposta (Response Evaluation)

• Nuggets: Unidades de informação chave são extraídas dos documentos relevantes.
• Métricas:
  • Strict Vital Recall: Mede a recuperação de "nuggets vitais" totalmente suportados pela resposta.
  • Sub-narrative Coverage: Calcula quantas sub-narrativas foram cobertas pela resposta gerada.
• Configurações: Foram testadas configurações totalmente manuais, totalmente automatizadas e híbridas (nuggets manuais + atribuição automática).

C. Avaliação de Suporte (Support Evaluation)

• Objetivo: Verificar se cada frase da resposta gerada é factualmente suportada pelo documento citado.
• Escala: Full Support (Suporte Total), Partial Support (Suporte Parcial) ou No Support (Sem Suporte).
• Métricas:
  • Precisão Ponderada: Proporção de citações que suportam as frases.
  • Recall Ponderado: Proporção de frases da resposta que são suportadas por citações.
• Automação: O modelo GPT-OSS 120B foi utilizado como avaliador automático, mostrando alta correlação com avaliadores humanos.

D. Análise de Concordância

• Uso de métricas como o Kappa de Cohen e Kendall's τ para comparar a concordância entre julgamentos automáticos e humanos, bem como a correlação de classificação entre sistemas.

---

4. Resultados Principais

• Recuperação:

  • 46 runs de 12 grupos foram submetidos.
  • Sistemas baseados em pipelines de "Geração no Loop" (Generation-in-the-loop) e fusão de modelos (ex: SPLADE-v3 + Arctic-Embed) lideraram as métricas nDCG.
  • A avaliação automática demonstrou alta correlação (Kendall's τ) com a avaliação humana em nível de run, especialmente em métricas de corte mais amplo (nDCG@100).

• Geração (AG e RAG):

  • 51 runs de RAG e 25 de AG foram avaliados.
  • Os melhores sistemas alcançaram Strict Vital Scores em torno de 0.50 e cobertura de sub-narrativas acima de 0.80 nas configurações manuais.
  • Sistemas que utilizaram post-editing manual de nuggets e atribuição manual obtiveram os melhores resultados, mas configurações automatizadas (AutoNuggetizer) mostraram-se promissoras e escaláveis.

• Julgamento de Relevância (RJ):

  • A tarefa de RJ mostrou ser desafiadora para automação, com as melhores runs automáticas alcançando apenas 30-34% de concordância com humanos (Kappa baixo), indicando que a avaliação automática de relevância para consultas complexas ainda precisa de avanços.

• Suporte Factual:

  • O avaliador automático (GPT-OSS 120B) capturou bem a estrutura de classificação dos sistemas em relação aos avaliadores humanos, embora houvesse variabilidade em nível de narrativa individual.

---

5. Contribuições e Significância

• Avanço na Avaliação de RAG: O track estabeleceu um novo padrão para avaliação de RAG, movendo-se além da simples recuperação de documentos para a avaliação da completude da resposta, raciocínio e fundamentação factual.
• Método de Sub-narrativas: A introdução da decomposição de consultas complexas em sub-narrativas permite uma avaliação mais granular e justa, reconhecendo que um documento pode ser parcialmente relevante para uma consulta multifacetada.
• Validação de Automação: O estudo fornece evidências robustas de que LLMs modernos podem atuar como avaliadores substitutos (surrogates) confiáveis para tarefas de relevância e suporte factual em nível de run, reduzindo a dependência de julgamentos humanos manuais caros e lentos.
• Inovação em Sistemas: O track incentivou o desenvolvimento de sistemas que integram recuperação, reranking e geração com citações explícitas, promovendo a criação de sistemas de IA mais confiáveis e transparentes para cenários de busca real.

Em resumo, o TREC 2025 RAG Track marcou um passo significativo na evolução de sistemas de IA generativa, focando na capacidade de lidar com consultas complexas e na necessidade crítica de transparência e veracidade nas respostas geradas.