Resumo Técnico: AstroRAG - Um Pipeline de Geração Aumentada por Recuperação Baseado em PageRank para QA em Astronomia

1. Declaração do Problema

Modelos de Linguagem de Grande Escala (LLMs) exibem capacidades robustas de processamento de linguagem natural, mas frequentemente geram erros factuais ao depender exclusivamente de conhecimento paramétrico. Embora a Geração Aumentada por Recuperação (RAG) mitigue isso ao fundamentar as respostas em evidências externas, pipelines convencionais de "recuperar e despejar" frequentemente introduzem contexto irrelevante. Isso é particularmente prejudicial em domínios especializados como a astronomia, onde são necessários terminologia técnica densa, formalismo matemático e fundamentação contextual precisa.

Além disso, estudos recentes destacam um "efeito posicional em forma de U" em modelos de contexto longo, onde a precisão cai significativamente quando evidências-chave são colocadas no meio de um prompt, em vez de no início ou no final. Soluções específicas de domínio existentes frequentemente lutam para lidar com conteúdo rico em equações, para preencher a lacuna entre vocabulários gerais e especializados, e para garantir rastreabilidade e privacidade no raciocínio científico.

2. Metodologia: O Pipeline AstroRAG

O AstroRAG é um framework RAG leve, totalmente local e livre de treinamento, projetado especificamente para perguntas e respostas em astronomia. Ele opera em uma base por instância para garantir privacidade e prevenir vazamento entre tarefas. O pipeline consiste nas seguintes etapas:

A. Isolamento e Pré-processamento em Nível de Instância

• Indexação Transitória: Para cada consulta, o sistema ingere apenas os documentos de fundo relevantes (.txt, .pdf, .md), processa-os e os armazena em um índice Elasticsearch efêmero. Este índice é excluído imediatamente após a geração da resposta para prevenir contaminação de dados.
• Fragmentação Consciente de Tokens: Os documentos são normalizados e divididos usando um separador de texto recursivo e consciente de tokens (baseado em tiktoken com codificação p50k).
  • Tamanho máximo do fragmento ($L$): 300 tokens.
  • Sobreposição ($\Delta$): 30 tokens.
  • Metadados (nome do arquivo, página, ID do fragmento) são anexados a cada fragmento para procedência.

B. Incorporação e Indexação Vetorial

• Os fragmentos são incorporados usando um modelo de incorporação de sentenças (por exemplo, Sentence-BERT).
• HyDE Opcional (Incorporações de Documentos Hipotéticos): Um LLM local pode gerar uma passagem hipotética para a consulta, que é então incorporada para melhorar a recuperação em consultas esparsas.
• As incorporações são armazenadas no índice Elasticsearch transitório.

C. Recuperação em Duas Etapas

O sistema emprega um processo de recuperação em duas etapas para selecionar um contexto compacto e mutuamente suportivo sob um orçamento estrito de tokens:

1. Etapa 1: Relevância Marginal Máxima (MMR):

   • Recupera um pequeno conjunto diversificado de candidatos (padrão $k=3$) da loja vetorial.
   • Otimiza tanto a relevância para a consulta quanto a diversidade entre os candidatos para evitar redundância.
   • Fórmula: $d^* = \arg\max_{d \in D \setminus S} [\lambda s(d, q) - (1-\lambda) \max_{d' \in S} s(d, d')]$.

2. Etapa 2: Reclassificação PageRank (PR) Orientada por Leitor:

   • Constrói um grafo de similaridade onde os nós são os $k$ fragmentos recuperados e as arestas representam similaridade de cosseno acima de um limiar ($\tau = 0.01$).
   • Aplica um algoritmo PageRank com um vetor de personalização derivado das pontuações de similaridade consulta-fragmento.
   • Objetivo: Identificar um conjunto compacto de fragmentos que não apenas sejam relevantes para a consulta, mas também mutuamente reforçadores (alto suporte inter-fragmento).
   • Os principais $pr$ fragmentos (padrão = 3) são selecionados com base nas pontuações PageRank.

D. Geração de Resposta

• Os fragmentos selecionados são concatenados e recortados para um orçamento fixo de tokens (padrão $T=1800$) para caber na janela de contexto do LLM.
• Um LLM local (por exemplo, Mistral-7B, LLaMA 2, AstroSage) gera a resposta final em uma única passagem, fornecendo a resposta junto com citações exatas de fontes.
• O sistema suporta múltiplos backends via APIs compatíveis com OpenAI ou HuggingFace TGI.

3. Contribuições Principais

1. Isolamento e Rastreabilidade em Nível de Instância: O sistema ingere apenas arquivos relevantes, constrói um índice transitório por instância, registra a resposta e os trechos de suporte, e apaga o índice após a geração. Isso garante privacidade e previne contaminação entre instâncias.
2. Recuperação em Duas Etapas com PageRank Orientado por Leitor: A combinação inovadora de MMR para diversidade inicial e uma etapa de reclassificação PageRank orientada por leitor seleciona um pequeno conjunto coerente de trechos. Isso equilibra a relevância da consulta com o suporte inter-trecho, otimizando para o "efeito posicional" em LLMs.
3. Pipeline Totalmente Local e Modular: Todo o fluxo de trabalho (incorporação, recuperação, geração) roda em hardware local, suportando operação offline e casos de uso sensíveis à privacidade sem dependência de APIs de nuvem externas.

4. Resultados Experimentais

O pipeline foi avaliado no benchmark AstroQA (3.082 perguntas em níveis de dificuldade fácil, médio e difícil) e em um conjunto de dados personalizado AstroRef-QA.

• Desempenho no AstroQA:
  • A variante Mistral-7B + AstroRAG alcançou 79,49% de precisão e 79,49% de pontuação F1 no conjunto de dados total.
  • Isso representa um aumento quase duplo no desempenho em comparação com a linha de base Mistral-7B sem RAG (21,74% de precisão).
  • Os ganhos de desempenho foram consistentes em todos os níveis de dificuldade: Fácil (77,50%), Médio (80,28%) e Difícil (83,59%).
  • O AstroRAG superou outras bases RAG como DrQA e estratégias Map-Reduce.
• Desempenho no AstroRef-QA:
  • Usando as métricas ROUGE-L e ROUGE-N, o modelo Mistral-7B + AstroRAG alcançou as maiores pontuações (30,17% ROUGE-L, 42,12% ROUGE-N), demonstrando sobreposição lexical e relevância de conteúdo aprimoradas.
• Estudos de Ablação:
  • Orçamento de Tokens: Um limite de tokens de saída de 64 forneceu o equilíbrio ideal entre latência e precisão.
  • Hiperparâmetros: O melhor desempenho foi observado com um PageRank top-$K$ de 3 e uma sobreposição de fragmento de 30 tokens.

5. Significado e Alegações

O artigo afirma que o AstroRAG estabelece uma base robusta para estender o RAG a outros campos científicos, demonstrando que a recuperação e refinamento disciplinados são críticos para impulsionar o raciocínio específico de domínio.

• Eficácia da Reclassificação: Os resultados destacam que simplesmente recuperar mais passagens é menos eficaz do que usar um processo de duas etapas (MMR + PageRank) para selecionar um contexto compacto e mutuamente suportivo.
• Privacidade e Reprodutibilidade: Ao operar localmente e usar indexação transitória, o sistema atende às necessidades críticas de verificabilidade e privacidade em aplicações científicas.
• Adaptação de Domínio: O framework preenche com sucesso a lacuna entre as capacidades gerais de LLMs e os requisitos rigorosos do raciocínio astronômico, lidando com tarefas complexas como raciocínio de magnitude-brilho, categorização de objetos celestes e cálculos de tempo sideral.

Os autores reconhecem limitações, incluindo sensibilidade às escolhas de modelos de incorporação e hiperparâmetros de recuperação, e sugerem trabalhos futuros em fragmentação adaptativa, agregação multi-salto e tratamento de entradas multilíngues.