Resumo Técnico de MPR-CiteG: Aprimorando o RAG com Recuperação de Multi-Portfólio e Geração Baseada em Citações

1. Declaração do Problema

Os Grandes Modelos de Linguagem (LLMs) enfrentam limitações inerentes ao dependerem apenas de conhecimento interno, particularmente no que diz respeito ao fornecimento de respostas atualizadas e factualmente fundamentadas. Embora a Geração Aumentada por Recuperação (RAG) aborde isso ao aproveitar evidências externas, as abordagens existentes sofrem de duas ineficiências primárias:

1. Recuperação Ineficiente: Métodos focados em consultas frequentemente negligenciam restrições práticas, como custos de recuperação e a coordenação de recuperadores heterogêneos sob orçamentos de computação limitados.
2. Falta de Verificação de Fonte: Abordagens orientadas a citações melhoram a fidelidade, mas frequentemente dependem de pipelines de múltiplos estágios intensivos em recursos, que são mal adequados para ambientes de API pública com restrições estritas de latência e necessidade de fundamentação ao nível de trechos (snippets).

O ScienceON AI Challenge avalia especificamente sistemas na geração de respostas a partir de resultados de busca pública sob um orçamento fixo de GPU, exigindo que os participantes equilibrem a eficiência da recuperação com a produção de respostas baseadas em evidências.

2. Metodologia: O Framework MPR-CiteG

Os autores propõem o MPR-CiteG, um sistema de dois componentes projetado para converter restrições de sistema em ganhos de desempenho. O framework consiste em um Recuperador de Multi-Portfólio (MPR) para coleta de informações eficiente e diversa e um módulo de Geração Baseada em Citação (CiteG) para saída atribuída e factualmente consistente.

2.1. Recuperador de Multi-Portfólio (MPR)

O MPR aborda o problema de incompatibilidade de vocabulário e as restrições de orçamento expandindo uma única consulta do usuário em quatro Portfólios de Consulta paralelos, que são então agregados e reclassificados.

• Expansão de Consulta: Usando um LLM (Qwen2.5-14B-Instruct), o sistema extrai dois conjuntos de palavras-chave:
  • Palavras-chave Primárias: Cinco termos com sinônimos atuando como âncoras semânticas.
  • Palavras-chave Expandidas: Três termos adicionais ampliando o escopo da busca com terminologia específica do domínio ou parafraseada.
• Quatro Portfólios de Consulta: Estas palavras-chave são combinadas usando operadores Booleanos para formar quatro estratégias distintas:
  • Q (Expansão de Consulta): Maximiza o recall ao parear palavras-chave primárias com conceitos expandidos usando lógica OR/AND.
  • S (Robusto a Sinônimos): Melhora a precisão ao incorporar sinônimos e curingas de prefixo enquanto filtra termos ruidosos (ex: "patente").
  • F (Equilibrado de Foco): Equilibra amplitude e seletividade ao agrupar as principais palavras-chave com lógica OR e combiná-las com as palavras-chave restantes via AND.
  • G (Tradução Global): Aborda a cobertura translinguística traduzindo consultas (Coreano $\leftrightarrow$ Inglês) usando o modelo NLLB-200.
• Agregação de Candidatos e Reclassificação: Os resultados de todos os portfólios são fundidos, deduplicados (com base em Números de Controle ou títulos) e reclassificados usando um Cross-Encoder (BGE-Reranker-v2-m3). Isso destila o pool inicial (aprox. 270 itens) para os 50 documentos mais relevantes, garantindo contexto de alta precisão para a geração.

2.2. Geração Baseada em Citação (CiteG)

O módulo CiteG utiliza o LLM Qwen2.5-14B-Instruct em um pipeline de dois estágios para garantir legibilidade e responsabilidade factual.

1. Geração de Resposta Condicionada ao Documento:
   • O modelo gera uma resposta preliminar estritamente a partir dos 10 documentos recuperados.
   • Os prompts impõem um estilo de escrita científica (Título, Introdução, Corpo, Conclusão) e restringem o modelo a usar apenas as fontes fornecidas.
   • A saída é uma narrativa fluente e semanticamente fiel sem citações explícitas.
2. Fundamentação de Citação ao Nível de Sentença:
   • A resposta preliminar é segmentada em sentenças.
   • Cada sentença é avaliada contra os documentos candidatos para selecionar as fontes de suporte.
   • Regras: Alegações factuais devem incluir citações; sentenças genéricas/de transição podem omiti-las.
   • Atribuição de Marcadores: As citações são atribuídas incrementalmente, reutilizando marcadores para múltiplas sentenças que referenciam o mesmo documento para preservar a legibilidade.
   • Serialização: A saída final inclui a narrativa com marcadores inline (ex: "[1]") e um bloco de citação estruturado mapeando marcadores para links de origem.

3. Resultados Principais

O framework foi avaliado no conjunto de dados do ScienceON AI Challenge usando BLEU, METEOR, Precisão de Recuperação (similaridade de cosseno entre sentenças de citação e títulos/resumos da fonte) e Tempo de Execução.

• Comparação de Backbone de LLM: Entre vários modelos (incluindo Llama3.1 e variantes KONI-Llama3.1), o Qwen2.5-14B alcançou o maior desempenho geral (Pontuação Final: 0.5415), demonstrando robustez multilíngue superior e qualidade de citação em comparação com modelos menores ou adaptados para o coreano.
• Estudo de Ablação (Portfólios de Consulta):
  • A configuração completa (Q+S+F+G) rendeu os melhores resultados em todas as métricas.
  • A remoção do bloco Q (Expansão de Consulta) causou a queda de desempenho mais significativa, destacando o papel crítico da expansão semântica.
  • A remoção do bloco S (Robusto a Sinônimos) teve o menor impacto na qualidade, mas melhorou o tempo de execução, sugerindo um trade-off entre ganhos marginais de recall e latência.
• Estudos de Caso:
  • Caso de Sucesso: O sistema sintetizou com sucesso informações de múltiplas citações para uma consulta de detecção de diabetes, distinguindo explicitamente entre fatos verificáveis (citados) e declarações narrativas gerais (não citadas), evitando efetivamente a alucinação.
  • Caso de Erro: O sistema teve dificuldades com consultas complexas e multifacetadas (ex: estratégias de integração HMM/NN), falhando em abordar todos os requisitos estruturais devido a um pool de evidências estático (Top-10) e viés de palavra-chave.

4. Significância e Alegações

O artigo afirma que o MPR-CiteG representa um passo significativo para a construção de LLMs confiáveis ao:

• Mitigar a Alucinação: Ao fundamentar estritamente cada alegação factual nas evidências recuperadas e separar explicitamente declarações gerais de fatos citados.
• Otimizar a Eficiência: Ao converter as restrições de um orçamento fixo de GPU e de API pública em uma estratégia de recuperação de multi-portfólio estruturada que maximiza o recall sem sacrificar a precisão.
• Garantir a Verificabilidade: Através do módulo CiteG, que fornece uma cadeia transparente de evidências, permitindo que o usuário rastreie cada alegação até um documento de origem específico.

Os autores concluem que, embora o pipeline estático funcione bem para consultas padrão, o trabalho futuro deve evoluir para mecanismos dinâmicos (ex: intercalar raciocínio com recuperação) para lidar com necessidades de informação complexas e multifacetadas sem o viés do pool de documentos. O framework alcançou o segundo lugar no ScienceON AI Challenge, validando sua eficácia em equilibrar a eficiência de recuperação com a geração baseada em citações.