RECIPER: A Dual-View Retrieval Pipeline for Procedure-Oriented Materials Question Answering

1. O Problema

A recuperação de evidências orientadas a procedimentos (como síntese de materiais e fluxos de trabalho experimentais) a partir de artigos científicos de ciência dos materiais é um desafio significativo. As principais dificuldades identificadas são:

• Dispersão da Informação: Detalhes cruciais de síntese estão frequentemente espalhados em documentos longos e ricos em contexto, dificultando sua localização.
• Limitações da Recuperação Densa Padrão: Métodos de recuperação densa baseados apenas em parágrafos (chunks) falham em capturar detalhes finos de procedimentos, pois retornam blocos de texto não estruturados que podem quebrar a conexão entre seções interdependentes.
• Alucinação em LLMs: Modelos de Linguagem de Grande Escala (LLMs) puros, sem recuperação, são pouco confiáveis para consultas científicas de granularidade fina devido aos seus dados de treinamento estáticos, podendo gerar respostas alucinadas.
• Falta de Abstrações Procedurais: Não está claro se abstrações procedurais compactas podem servir como um sinal de recuperação eficaz complementar para perguntas orientadas a procedimentos.

2. Metodologia: O Framework RECIPER

O RECIPER é um pipeline de recuperação de "dupla visão" (dual-view) projetado para integrar conhecimento estruturado procedural com evidência contextual de parágrafos. O sistema opera em cinco etapas principais:

A. Extração de Conhecimento Centrado em Procedimentos

• Utiliza um LLM instrucional (DeepSeek-R1-Distill-Qwen-32B) para gerar resumos procedurais compactos ("Recettes" ou Recipes) a partir do texto completo de cada artigo.
• Esses resumos condensam métodos longos em descrições passo a passo focadas em materiais, operações e condições, preservando os sinais procedurais essenciais para a resposta a perguntas.
• O sistema mantém dois conjuntos de dados: P (chunks de parágrafos originais) e R (resumos procedurais extraídos).

B. Recuperação de Candidatos de Dupla Visão

• Para uma consulta do usuário ($q$), o sistema recupera candidatos independentemente de ambas as visões:
  1. Visão de Parágrafo: Fornece evidência contextual ampla.
  2. Visão Procedural: Foca na lógica de síntese condensada e operações experimentalmente relevantes.
• Utiliza embeddings densos para calcular pontuações de similaridade semântica.

C. Mesclagem e Deduplicação Sensível ao Fluxo

• Os dois conjuntos de candidatos são mesclados em um único pool.
• Aplica-se uma deduplicação sensível ao fluxo (stream-aware deduplication): para cada par (ID do artigo, fluxo de origem), apenas o candidato melhor classificado é mantido. Isso evita redundância dentro do mesmo fluxo, mas preserva a complementaridade entre as visões de parágrafo e receita.

D. Reranking Léxico Sensível à Consulta

• Após a recuperação densa, aplica-se um passo de reranking léxico leve.
• Calcula-se uma pontuação de "cobertura da consulta" baseada na interseção de tokens entre a consulta e o texto do candidato (título + corpo).
• A pontuação final combina a pontuação semântica densa com a pontuação léxica ponderada ($\lambda = 0.1$), priorizando candidatos que cobrem explicitamente os termos da consulta sem descartar a ordem semântica original.

E. Seleção de Evidência para QA

• Os candidatos são reordenados pela pontuação final, e os top-K são selecionados como contexto para um LLM downstream gerar a resposta final.

3. Contribuições Principais

• Pipeline de Dupla Visão: Introdução de um framework que combina contexto de nível de parágrafo com resumos procedurais extraídos por LLM para recuperação de literatura científica.
• Descoberta Empírica: Demonstração de que resumos procedurais, embora fracos como unidades de recuperação autônomas, fornecem sinais complementares valiosos quando combinados com a recuperação de parágrafos.
• Robustez Independente do Backbone: O método demonstra ganhos consistentes sobre quatro backbones de recuperação densa diferentes, indicando que a melhoria é agnóstica ao modelo de embedding utilizado.

4. Resultados Experimentais

O sistema foi avaliado em um benchmark de ciência dos materiais com 1.024 pares consulta-documento derivados de mais de 300 artigos.

• Desempenho de Recuperação (Recall@1, nDCG@10, MRR):
  • O RECIPER superou consistentemente a recuperação densa baseada apenas em parágrafos.
  • Ganhos Médios: +3.73 em Recall@1, +2.85 em nDCG@10 e +3.13 em MRR.
  • Com o backbone BGE-large-en-v1.5, alcançou 86.82% em Recall@1, 97.07% em Recall@5 e 97.85% em Recall@10.
  • A recuperação baseada apenas em "Receitas" (procedural) foi fraca isoladamente (Recall@1 de ~51%), confirmando a necessidade da abordagem híbrida.
• Desempenho em QA Downstream:
  • A melhoria na seleção de evidências traduziu-se em melhores respostas geradas por LLMs (de 0.5B a 40B parâmetros).
  • Métricas como ROUGE-L e BERTScore-F1 melhoraram consistentemente.
  • O impacto foi particularmente notável em modelos menores, sugerindo que uma recuperação mais forte compensa a falta de conhecimento paramétrico nesses modelos.

5. Significado e Conclusão

O trabalho do RECIPER estabelece que a representação de conhecimento científico não deve se limitar ao texto bruto. Ao transformar procedimentos complexos em abstrações estruturadas ("receitas") e integrá-las com o contexto original, é possível melhorar significativamente a precisão da recuperação em domínios técnicos.

A principal implicação é que sinais procedurais e contextuais são complementares. O RECIPER oferece uma solução escalável e robusta para Sistemas de Perguntas e Respostas (QA) baseados em Recuperação Aumentada por Geração (RAG) na ciência dos materiais, permitindo que modelos menores gerem respostas mais fundamentadas e precisas, reduzindo alucinações em tarefas que exigem detalhes experimentais específicos.