Open-Source Reproduction and Explainability Analysis of Corrective Retrieval Augmented Generation

Este trabalho apresenta uma reprodução totalmente de código aberto do sistema CRAG, substituindo componentes proprietários por alternativas livres, demonstrando desempenho comparável e fornecendo a primeira análise explicativa que revela que o avaliador de recuperação depende principalmente do alinhamento de entidades nomeadas em vez de similaridade semântica.

O essencial

Imagine que você tem um especialista superinteligente (um Modelo de Linguagem) que sabe responder a quase tudo. O problema é que, às vezes, esse especialista "alucina": ele inventa fatos com tanta confiança que parece verdade, mesmo sendo mentira.

Para resolver isso, os cientistas criaram um sistema chamado CRAG. Pense no CRAG como um assistente de pesquisa cético que trabalha junto com o especialista. Antes de o especialista responder, o assistente pega documentos da internet, verifica se são confiáveis e decide o que fazer.

Aqui está a explicação do que este novo artigo fez, usando analogias simples:

1. O Problema: A "Caixa Preta" de Luxo

O sistema original do CRAG era como um carro de Fórmula 1, mas você não podia dirigir.

• Para funcionar, ele precisava de um motor pago (a API do Google Search).
• Usava peças proprietárias que ninguém podia ver ou modificar (pesos de modelos fechados).
• Isso significava que pesquisadores comuns não conseguiam testar, melhorar ou confiar totalmente nele, porque dependiam de empresas que cobram caro.

2. A Solução: O "Carro Popular" de Alta Performance

O autor deste artigo, Surya, fez algo incrível: ele reconstruiu o carro de Fórmula 1 usando peças de oficina comuns, mas que funcionam tão bem quanto as originais.

• Substituição: Em vez de pagar pelo Google, ele usou a Wikipedia (que é gratuita e aberta).
• Motor: Em vez de usar um modelo de IA pago e fechado, ele usou um modelo gratuito e poderoso chamado Phi-3.
• Resultado: O novo sistema "caseiro" funcionou quase exatamente igual ao original caro. Isso prova que você não precisa de milhões de dólares para ter uma tecnologia de ponta.

3. A Investigação: O Detetive de Palavras (SHAP)

A parte mais interessante do artigo é quando o autor decidiu abrir a "caixa preta" do assistente de pesquisa para ver como ele pensava. Ele usou uma ferramenta chamada SHAP (que é como um raio-X para a mente da IA).

O que eles descobriram?
Eles acharam que o assistente era um gênio em entender o significado das frases. Mas o raio-X revelou uma surpresa:

• O assistente não está realmente lendo o texto para entender a lógica.
• Ele é basicamente um caçador de nomes.
• A Analogia: Imagine que você pergunta: "Quem dirigiu o filme Titanic?".
  • Se o documento tiver a palavra "Titanic" e "James Cameron", o assistente diz: "Isso é relevante!" (mesmo que o resto do texto seja lixo).
  • Se o documento falar sobre "Titanic" (o navio) e não sobre o filme, ou se falar sobre um diretor de outro filme, ele rejeita.
  • Ele funciona mais como um scanner de código de barras (procurando nomes de pessoas ou lugares) do que como um professor (entendendo o contexto).

4. Onde o Sistema Falha (As "Pontas de Iceberg")

Por causa dessa "obsessão" por nomes, o sistema tem dois problemas principais:

1. Perguntas sobre Coisas, não Pessoas: Se você perguntar sobre um gênero musical, um estilo de arte ou um filme específico, o sistema muitas vezes não acha o "nome" certo na Wikipedia e rejeita a resposta, mesmo que a informação esteja lá.
2. Ciência: O sistema foi treinado com perguntas sobre biografias (quem fez o quê). Quando você pergunta sobre ciências (como funciona um átomo), ele fica confuso porque não vê "nomes de pessoas" para alinhar. Ele diz: "Não sei, é ambíguo", e tenta buscar na internet, mas como a Wikipedia não é um livro de ciência, ele perde tempo.

5. O Veredito Final

Este artigo é como um manual de "Faça Você Mesmo" para a inteligência artificial.

• Mensagem Principal: Você não precisa de tecnologias caras e fechadas para criar sistemas inteligentes. Com criatividade e ferramentas abertas (como a Wikipedia), podemos alcançar resultados excelentes.
• Lição de Ouro: A inteligência artificial atual é muito boa em encontrar nomes, mas ainda precisa aprender a entender conceitos.

Em resumo, o autor pegou um sistema complexo e caro, transformou-o em algo gratuito e acessível, e depois usou um raio-X para mostrar que, embora funcione bem, ele ainda é um pouco "cego" para coisas que não são nomes de pessoas.

Resumo técnico

1. Problema

Os Modelos de Linguagem de Grande Escala (LLMs) são propensos a alucinações (geração de conteúdo factual incorreto). A Geração Aumentada por Recuperação (RAG) tenta mitigar isso, mas assume que os documentos recuperados são sempre relevantes, o que nem sempre é verdade.
O sistema CRAG (Corrective Retrieval Augmented Generation) foi proposto para resolver isso, introduzindo um avaliador que classifica documentos como "Correto", "Incorreto" ou "Ambíguo" e aciona ações corretivas (como busca na web). No entanto, a implementação original do CRAG possui barreiras significativas para reprodutibilidade:

• Depende de APIs proprietárias e pagas (Google Search).
• Utiliza pesos de modelos fechados (LLaMA-2 fine-tuned).
• Usa chamadas de API descontinuadas (OpenAI).
  Isso impede que pesquisadores reproduzam ou construam sobre o trabalho sem recursos significativos.

2. Metodologia

O trabalho propõe uma reprodução totalmente de código aberto do CRAG, substituindo todos os componentes proprietários por alternativas gratuitas e acessíveis, mantendo a arquitetura original.

• Substituição de Componentes:

  • Gerador: Substituição do LLaMA-2-7B pelo Phi-3-mini-4k-instruct (3.8B parâmetros, instruído e gratuito).
  • Busca na Web: Substituição da Google Search API por uma pipeline de 5 etapas baseada na API da Wikipedia, incluindo extração de entidades via regex e estratégias de fallback (busca direta, sufixo, API de busca e resolução de páginas de desambiguação).
  • Avaliador de Recuperação: Mantém o modelo T5-large fine-tuned original (checkpoint não alterado), pois é de código aberto.
  • Extração de Palavras-chave: Substituição do GPT-3.5 Turbo por extração baseada em regras.

• Pipeline de Decisão:
  O avaliador T5 pontua pares (pergunta, documento) em uma escala de [-1, 1]. Com base em limiares ($\tau^+ = 0.59$, $\tau^- = -0.99$):

  • Correto: Refina o contexto (decompor e recompor).
  • Incorreto: Descarta o documento e aciona a busca na Wikipedia.
  • Ambíguo: Combina contexto interno refinado e busca externa.

• Análise de Explicabilidade:
  Aplicação da técnica SHAP (SHapley Additive exPlanations) para analisar as atribuições de tokens no avaliador T5, visando entender quais características o modelo usa para tomar decisões.

3. Contribuições Principais

1. Reprodução Open-Source: Primeira implementação totalmente gratuita do CRAG, eliminando dependências de APIs pagas e modelos fechados, com código disponível publicamente.
2. Validação de Desempenho: Demonstração de que componentes open-source (Phi-3 + Wikipedia) alcançam desempenho comparável ao sistema original proprietário.
3. Análise de Explicabilidade (SHAP): Primeira análise detalhada do avaliador de recuperação do CRAG, revelando que ele funciona primariamente como um detector de alinhamento de entidades nomeadas e não como um juiz de relevância semântica profunda.
4. Identificação de Falhas: Mapeamento de modos de falha específicos, como a dificuldade de transferência de domínio para perguntas científicas e a baixa performance em tipos de entidades fora da distribuição de treinamento (ex: títulos de filmes).

4. Resultados

Os experimentos foram conduzidos nos conjuntos de dados PopQA (perguntas de domínio aberto) e ARC-Challenge (perguntas científicas de múltipla escolha).

• PopQA:
  • O CRAG reproduzido alcançou 54,4% de precisão, comparável aos 54,9% do sistema original (LLaMA-2).
  • A ação "Correto" atingiu 78,1% de precisão, enquanto a ação "Ambígua" (sem busca externa) caiu para 19,3%, subindo para 23,0% com a busca na Wikipedia.
• ARC-Challenge:
  • O CRAG alcançou 85,2% de precisão, superando o RAG "vanilla" (84,8%).
  • Observou-se que o avaliador T5 classificou 88,3% das perguntas científicas como "Ambíguas", indicando um viés de treinamento focado em entidades biográficas, mas o gerador Phi-3 compensou com seu conhecimento paramétrico forte em ciências.
• Análise por Tipo de Pergunta:
  • Tipos dominados por entidades (Países, Esportes) tiveram alta precisão (>70%).
  • Tipos como "Autor", "Compositor" e "Diretor" tiveram baixa precisão (22-40%) e dependiam fortemente da busca web.
  • Falha Crítica: Perguntas sobre "Religião" tiveram apenas 5,0% de precisão, mesmo quando o avaliador classificou como "Correto", indicando que a confiança do avaliador não garante a resposta correta para entidades não nominais específicas.

5. Significado e Conclusão

Este trabalho é significativo por duas razões principais:

1. Democratização da Pesquisa: Prova que sistemas complexos de RAG corretivo podem ser reproduzidos e melhorados sem custos de API ou acesso a modelos fechados, facilitando a pesquisa reprodutível.
2. Insights sobre Limitações do CRAG: A análise SHAP revela uma limitação fundamental no avaliador T5: ele é um detector de alinhamento de entidades (verifica se o nome da entidade na pergunta está no documento) e não um avaliador de relevância semântica profunda. Isso explica por que o sistema falha em domínios onde as perguntas não giram em torno de entidades nomeadas claras (como ciências ou conceitos abstratos) e para tipos de entidades raras no conjunto de treinamento (como filmes).

O artigo conclui que, embora a reprodução open-source seja viável e eficaz, o futuro do CRAG depende de: (1) fine-tuning do avaliador em conjuntos de dados mais diversificados, (2) melhores alternativas de busca web para cobrir lacunas da Wikipedia, e (3) análises SHAP em maior escala para validação estatística.