Resumo Técnico: PATHISE - Aprendizado de Supervisão Intermediária Informativa para Resposta a Perguntas em Grafos de Conhecimento

1. Declaração do Problema

A Resposta a Perguntas em Grafos de Conhecimento (KGQA) visa responder a perguntas em linguagem natural por meio de raciocínio sobre Grafos de Conhecimento (KGs) estruturados. Abordagens recentes frequentemente empregam Geração Aumentada por Recuperação (RAG), onde Modelos de Linguagem de Grande Porte (LLMs) são fundamentados com componentes recuperados do KG (por exemplo, caminhos, subgrafos) para reduzir alucinações e melhorar a fidelidade das respostas.

No entanto, treinar recuperadores eficazes ou geradores de caminhos geralmente requer sinais de supervisão intermediária de alta qualidade, como caminhos de raciocínio específicos ou triplas de suporte. Obter essas anotações é intensivo em tempo e recursos. Consequentemente, muitos métodos existentes dependem de caminhos fracamente supervisionados, onde todos os caminhos que conectam entidades da pergunta às respostas verdadeiras nos dados de treinamento são tratados como sinais positivos. Como ilustrado no artigo, essa abordagem introduz ruído significativo: muitos desses caminhos são "espúrios", ou seja, conectam-se à resposta correta, mas são irrelevantes para o processo de raciocínio real exigido pela pergunta.

Alternativamente, algumas obras recentes utilizam LLMs para refinar caminhos fracamente supervisionados em supervisão intermediária de alta qualidade. Embora eficaz, essa abordagem incorre em custos computacionais substanciais e limita a escalabilidade devido à necessidade de chamadas extensivas de LLM em todas as instâncias de treinamento.

O desafio central abordado por este trabalho é a falta de supervisão intermediária de alta qualidade e computacionalmente escalável para KGQA que evite tanto o ruído da supervisão fraca quanto o custo do refinamento baseado em LLM.

2. Metodologia: PATHISE

Os autores propõem o PATHISE (Estimação de Supervisão Intermediária Informativa ao Nível de Caminho), um framework que aprende supervisão intermediária de alta qualidade ao nível de caminho diretamente a partir de rótulos ao nível de resposta, utilizando um paradigma de Aprendizado de Múltiplas Instâncias (MIL). O framework opera em três estágios:

Estágio 1: Estimação de Caminho Informativo Baseada em MIL

Em vez de tratar todos os caminhos que atingem uma resposta como igualmente válidos, o PATHISE trata os caminhos como instâncias latentes dentro de um "saco" definido pela resposta.

• Construção do Saco: Para uma pergunta dada $q$ e um conjunto de respostas $A_q$, caminhos de relação candidatos $Z_q$ são recuperados do KG. Caminhos que atingem pelo menos uma entidade de resposta formam um saco positivo; caminhos que não atingem nenhuma resposta formam sacos negativos.
• Estimador Baseado em Transformer: Um codificador transformer leve codifica conjuntamente a pergunta e os caminhos de relação candidatos.
• Agregação Baseada em Atenção: Usando um mecanismo MIL baseado em atenção, o modelo pontua a contribuição de cada caminho para a previsão ao nível do saco. A pontuação de atenção não normalizada serve como uma pontuação de informatividade ($S_\phi$).
• Geração de Supervisão Pseudo: Os $T$ caminhos superiores pontuados são selecionados como "supervisão pseudo ao nível de caminho" ($Z^*_q$). Esse processo filtra efetivamente caminhos espúrios sem exigir anotações explícitas de caminho ou intervenção de LLM.

Estágio 2: Destilação de Supervisão Pseudo

Os caminhos de alta informatividade estimados são usados para treinar um gerador de caminhos de relação baseado em LLM.

• Os caminhos selecionados $Z^*_q$ são convertidos em uma distribuição de alvo pseudo rígida (probabilidade uniforme sobre o conjunto selecionado).
• O gerador de caminhos é treinado para minimizar a divergência KL entre sua distribuição de saída e essa distribuição de alvo pseudo.
• Essa destilação permite que o gerador aprenda a produzir caminhos de relação precisos e informativos condicionados apenas à pergunta e às entidades, evitando o ruído inerente à supervisão fraca bruta.

Estágio 3: Raciocínio Indutivo Fundamentado em KG

Durante a inferência:

1. O gerador de caminhos treinado produz $K$ caminhos de relação via busca em feixe.
2. Esses caminhos são fundamentados no KG para recuperar evidências compactas (entidade inicial, caminho e entidades finais alcançáveis).
3. Essa evidência estruturada é verbalizada e alimentada em um LLM para raciocínio indutivo, a fim de gerar a resposta final.

3. Contribuições Principais

O artigo delineia três contribuições primárias:

1. Framework Inovador: A proposta do PATHISE, um framework que aprende supervisão intermediária de alta qualidade ao nível de caminho a partir de rótulos ao nível de resposta, contornando a necessidade de supervisão fraca ruidosa ou supervisão refinada por LLM custosa.
2. Estimador Leve: A introdução de um estimador MIL baseado em transformer que aprende a pontuar a informatividade de caminhos de relação, permitindo a construção de sinais de supervisão pseudo agnósticos ao modelo.
3. Validação Empírica: Experimentos extensivos demonstrando que o PATHISE alcança desempenho competitivo ou de última geração (SOTA) em três benchmarks (WebQSP, CWQ, MetaQA) e fornece sinais de supervisão reutilizáveis que aprimoram modelos de KGQA existentes.

4. Resultados Experimentais

Os autores avaliaram o PATHISE em WebQSP, ComplexWebQuestions (CWQ) e MetaQA.

• Desempenho: O PATHISE alcançou resultados competitivos ou SOTA em todos os conjuntos de dados.
  • No WebQSP, alcançou uma pontuação F1 de 81,3% (usando GPT-4o), superando baselines fracamente supervisionados (por exemplo, RoG em 67,0%) e igualando ou excedendo baselines refinados por LLM (por exemplo, RAPL em 80,7%).
  • No CWQ, alcançou um F1 de 61,5%, mostrando ganhos significativos sobre métodos fracamente supervisionados e desempenho comparável a métodos refinados por LLM.
  • No MetaQA, atingiu um F1 de 96,2%, melhorando a melhor baseline (DP) em 1,4%.
• Eficiência: O PATHISE demonstrou eficiência de inferência superior em comparação com as baselines. Exigiu menos tokens de entrada (277,0 no WebQSP versus 2.552,8 para DP) e menos chamadas de LLM (2,0), mantendo alta precisão.
• Qualidade da Supervisão: A avaliação contra caminhos verdadeiros extraídos via SPARQL mostrou que a supervisão estimada pelo PATHISE alcançou Hits@T comparáveis à supervisão refinada por LLM (RAPL) no WebQSP e superou significativamente essa última no conjunto de dados CWQ mais complexo (ganho de até 11%), sem o custo computacional associado ao refinamento por LLM.
• Ablação e Aplicabilidade: Substituir a supervisão do PATHISE por caminhos fracamente supervisionados ou classificações por similaridade de cosseno resultou em quedas substanciais de desempenho. Além disso, aplicar a supervisão estimada pelo PATHISE a outros modelos (RoG, SubgraphRAG) melhorou seu desempenho, confirmando a utilidade agnóstica ao modelo da supervisão.

5. Significado e Alegações

O artigo afirma que o PATHISE oferece uma alternativa escalável e eficiente aos paradigmas atuais de treinamento de KGQA. Ao aproveitar o paradigma MIL para destilar caminhos informativos a partir de rótulos ao nível de resposta, ele aborda o gargalo fundamental de obter supervisão intermediária de alta qualidade.

Os autores enfatizam que sua abordagem:

• Mitiga Ruído: Filtra efetivamente caminhos espúrios que degradam a precisão do raciocínio em configurações fracamente supervisionadas.
• Reduz Custos: Evita os custos computacionais proibitivos associados ao uso de LLMs para refinar dados de treinamento para cada instância.
• Aprimora a Generalizabilidade: Fornece sinais de supervisão reutilizáveis que podem melhorar várias arquiteturas de KGQA existentes, não apenas o gerador específico treinado neste trabalho.

O artigo conclui que, embora o PATHISE não recupere perfeitamente todos os caminhos de raciocínio ideais (como notado nas limitações relacionadas a KGs imperfeitos e erros do estimador), ele representa um passo significativo rumo a tornar a supervisão intermediária de alta qualidade acessível para KGQA em grande escala, sem depender de anotação cara ou loops de refinamento por LLM.