Resumo Técnico: Recuperação com Autofoco para QA Multi-Hop com Conhecimento Semi-Estruturado

Definição do Problema

Em cenários do mundo real, sistemas de aprendizado de máquina frequentemente têm acesso tanto a conhecimento estruturado (por exemplo, grafos de conhecimento, tabelas) quanto a conteúdo não estruturado (por exemplo, documentos em linguagem natural). Embora os Modelos de Linguagem de Grande Escala (LLMs) se destaquem no processamento de texto, eles têm dificuldade com raciocínio preciso sobre dados estruturados e são propensos a alucinações. Sistemas existentes de Geração Aumentada por Recuperação (RAG) geralmente dependem de dados não estruturados ou estruturados, falhando em aproveitar a sinergia de ambos.

Bases de Conhecimento Semi-Estruturadas (SKBs) preenchem essa lacuna ao vincular documentos não estruturados a nós dentro de grafos estruturados. No entanto, responder a perguntas multi-hop sobre SKBs exige realizar simultaneamente raciocínio relacional sobre estruturas de grafos e interpretação contextual dos textos associados. Métodos existentes frequentemente focam em técnicas específicas de forma isolada ou dependem fortemente de ajuste fino específico de domínio, limitando sua generalizabilidade e desempenho zero-shot.

Metodologia: Autofocus-Retriever (AF-Retriever)

Os autores propõem o Autofocus-Retriever (AF-Retriever), um framework modular e zero-shot projetado para recuperar e classificar candidatos a resposta para perguntas multi-hop sobre SKBs. O sistema opera por meio de um pipeline de oito etapas que ajusta iterativamente o "foco" das entidades candidatas, equilibrando precisão e recall por meio de uma abordagem neuro-simbólica híbrida.

O Pipeline de Oito Etapas

1. Predição do Tipo de Alvo: Um LLM prevê o tipo de nó (por exemplo, "artigo", "autor") da resposta esperada. Isso serve como a primeira camada de foco, filtrando o espaço de busca.
2. Extração de Consulta Cypher: Um LLM traduz a pergunta em linguagem natural para uma consulta Cypher (uma linguagem de consulta de grafos de propriedades). Esta etapa codifica restrições relacionais, constantes e variáveis sem exigir ajuste fino, aproveitando as capacidades inerentes dos LLMs base.
3. Análise com Expressões Regulares: A consulta Cypher gerada é analisada em um formato estruturado (tipo de alvo, tripletas relacionais e atributos de nó) usando regex. Isso desacopla o sistema de formatos específicos de saída de LLM e permite processamento controlado a jusante.
4. Recuperação de Candidatos Simbólicos: Para cada constante nas tripletas (por exemplo, "Miami Uni"), o sistema recupera um conjunto de nós candidatos ($l_{max}$) usando Busca de Similaridade Vetorial (VSS) em seus atributos de texto (nome/título). Filtros rígidos (por exemplo, ano de publicação) são aplicados às variáveis.
5. Expansão Incremental do Escopo (Fundamentação de Tripletas): Este é um componente central inovador. Em vez de recuperar todos os candidatos de uma vez, o sistema expande incrementalmente o conjunto de candidatos para cada constante (de $l=1$ a $l_{max}$). Ele realiza uma busca de caminhos baseada em grafos (interseções de conjuntos de vizinhos) para fundamentar tripletas. O loop continua até que $k$ candidatos de resposta válidos sejam encontrados ou o limite seja atingido. Isso equilibra dinamicamente a especificidade (minimizando falsos positivos) e a sensibilidade (garantindo que a entidade correta seja incluída).
6. Busca de Similaridade Vetorial Híbrida (Fio do Grafo): Os candidatos derivados da fundamentação baseada em grafos (Etapa 5) são reclassificados usando VSS com base na consulta original da pergunta.
7. Busca de Similaridade Vetorial Híbrida (Fio de Texto): Uma passagem separada de VSS recupera os principais candidatos para o tipo de alvo previsto independentemente das restrições do grafo. Isso atua como uma rede de segurança para casos em que as restrições do grafo podem ser muito restritivas ou o grafo está incompleto.
8. Reclassificação por LLM: A união dos candidatos das Etapas 6 e 7 é mesclada e reclassificada por um LLM. O artigo avalia três estratégias:
   • Pontual: Pontuação de cada candidato individualmente.
   • Par a Par: Comparação de candidatos em pares (ordenação binária por inserção).
   • Lista: Classificação de todos os candidatos em um único prompt.
     O sistema inclui mecanismos para lidar com limites de janela de contexto, podando relações não essenciais.

Contribuições Principais

• Framework Híbrido Modular: O AF-Retriever integra busca vetorial, travessia de grafos simbólica e raciocínio de LLM em um pipeline coeso e rastreável.
• Expansão Incremental do Escopo: Um procedimento inovador que ajusta dinamicamente o número de entidades candidatas para constantes durante a busca em grafos, garantindo que as restrições relacionais sejam atendidas enquanto mantém um tamanho gerenciável do pool de candidatos.
• Capacidade Zero-Shot: O sistema opera efetivamente sem treinamento específico de tarefa ou ajuste fino, confiando nas capacidades gerais dos LLMs base para tradução de texto para Cypher e reclassificação.
• Análise Abrangente de Reclassificação: O trabalho fornece uma comparação teórica e experimental das estratégias de reclassificação pontual, par a par e de lista no contexto de QA baseada em SKB.
• Rastreabilidade: Ao fundamentar tripletas e usar etapas de recuperação estruturadas, as respostas do sistema são mais interpretáveis do que a geração de LLMs de caixa preta.

Resultados Experimentais

O sistema foi avaliado no conjunto de benchmarks STaRK (conjuntos de dados PRIME, MAG e AMAZON), que abrange domínios biomédicos, acadêmicos e de comércio eletrônico.

• Desempenho: O AF-Retriever alcançou resultados de última geração (SOTA) em todos os três benchmarks sintéticos STaRK em configurações zero-shot e one-shot.
  • Superou o segundo melhor método zero-shot em 32,1% na taxa média de primeiro acerto.
  • No conjunto de dados MAG, superou o segundo colocado (HybGRAG) em 20,2% em hit@1.
  • No AMAZON, superou o segundo melhor (KAR) em 12,9% em hit@1.
• Comparação com Sistemas Ajustados: Embora o AF-Retriever geralmente supere outros métodos zero-shot, foi superado pelo GraphRAFT (um sistema ajustado) no conjunto de dados PRIME. Os autores observam que isso destaca a dificuldade do reconhecimento de entidades médicas especializadas para LLMs base, onde o aprendizado supervisionado oferece uma vantagem significativa.
• Estudos de Ablação:
  • A estratégia de recuperação híbrida (combinando fios de grafo e vetorial) superou significativamente qualquer estratégia isolada.
  • A etapa de reclassificação melhorou substancialmente o hit@1 e o MRR, com a estratégia de reclassificação par a par geralmente produzindo as melhores taxas de primeiro acerto em diferentes backbones de LLM.
  • A expansão incremental do escopo (Etapa 5) foi crítica para manter a precisão enquanto garantia o recall.

Significado e Alegações

O artigo afirma que o AF-Retriever representa um passo significativo em direção a uma resposta a perguntas confiável, transparente e de alta precisão fundamentada em conhecimento semi-estruturado. Seu principal significado reside em demonstrar que um pipeline cuidadosamente orquestrado de componentes estabelecidos (VSS, busca em grafos) e otimizações inovadoras (expansão incremental do escopo, recuperação híbrida) pode alcançar desempenho SOTA sem a necessidade de ajuste fino caro e específico de domínio.

Os autores enfatizam que a modularidade e a rastreabilidade do sistema são cruciais para implantação no mundo real, permitindo que pesquisadores e usuários adaptem, otimizem ou estendam partes específicas do pipeline. Embora reconheçam que o ajuste fino de componentes específicos (como geração de Cypher) poderia gerar ganhos adicionais, o trabalho estabelece uma linha de base sólida para QA zero-shot em SKB, provando que o raciocínio multi-hop eficaz é alcançável por meio de integração estrutural e textual sem sacrificar a generalizabilidade.