KCS: Diversify Multi-hop Question Generation with Knowledge Composition Sampling

Título: KCS: Diversificar a Geração de Perguntas Multi-hop com Amostragem de Composição de Conhecimento

1. O Problema

A Resposta a Perguntas Multi-hop (MHQA) enfrenta desafios significativos devido à escassez de dados. Essa limitação aumenta a probabilidade de os Modelos de Linguagem (LLMs) aprenderem padrões espúrios, comprometendo a robustez e a generalização.

Embora a Geração de Perguntas (QG) tenha sido proposta para aumentar a diversidade dos dados de treinamento, as abordagens anteriores focam principalmente em:

• Diversificar o planejamento de conteúdo e a expressão linguística de perguntas simples.
• Negligenciar a integração de conhecimento essencial externo, como sentenças específicas e relevantes dentro de documentos longos.

O artigo argumenta que a verdadeira diversidade em perguntas multi-hop não vem apenas de reescrever a mesma pergunta, mas de selecionar composições de conhecimento diferentes (conjuntos variados de sentenças relevantes) que levam à mesma resposta. A escassez de dados origina-se da subutilização desse conhecimento contextual.

2. Metodologia: O Framework KCS

O authors propõem o KCS (Knowledge Composition Sampling), um framework inovador que diversifica a geração de perguntas multi-hop amostrando diferentes composições de conhecimento dentro de um contexto dado. O processo é dividido em três etapas principais:

A. Seleção de Composição de Conhecimento

O objetivo é selecionar automaticamente um subconjunto de sentenças (composição de conhecimento) que seja "digno de pergunta" a partir de um contexto longo.

• Modelo: Utiliza uma arquitetura neural hierárquica baseada em Transformers.
  • Codificador (Encoder): Um modelo baseado em BERT codifica cada sentença do contexto e a resposta em representações latentes.
  • Decodificador (Decoder): Um modelo de sequência em nível de sentença prevê a próxima sentença relevante condicionalmente à resposta e às sentenças já selecionadas.
• Função de Perda Probabilística Contrastiva: Para evitar a seleção de conhecimento irrelevante e aprender a coerência potencial entre as sentenças, o modelo maximiza a informação mútua entre a representação latente da previsão atual e a próxima sentença correta, enquanto minimiza a informação mútua com outras sentenças do contexto (tratadas como amostras negativas).

B. Diversificação da Composição de Conhecimento

Para evitar que o modelo sempre escolha a mesma sequência de sentenças (o que levaria a perguntas repetitivas), o KCS emprega uma estratégia de decodificação estocástica.

• Nucleus Sampling (Top-p): O modelo truncar a "cauda" não confiável da distribuição de probabilidade e amostra a próxima sentença a partir de um "núcleo dinâmico" que contém a maior parte da massa de probabilidade.
• Isso permite equilibrar precisão (escolher sentenças relevantes) e diversidade (escolher caminhos de conhecimento diferentes).

C. Geração de Perguntas Multi-hop

Uma vez que as composições de conhecimento diversificadas são amostradas, um modelo de geração de perguntas multi-hop "vanilla" (padrão, como o MixQG-base) é usado para gerar a pergunta final baseada na resposta e na composição de conhecimento amostrada.

3. Principais Contribuições

1. Framework KCS: Propõe uma nova abordagem que diversifica perguntas multi-hop através da amostragem de composições de conhecimento variadas, em vez de apenas variar a expressão textual.
2. Nova Tarefa de Predição: Introduz uma tarefa de predição condicional em nível de sentença e uma perda contrastiva probabilística para discernir a coerência do conhecimento sem depender de grafos de conhecimento estruturados pré-construídos.
3. Validação de Decodificação Estocástica: Demonstra a eficácia do nucleus sampling para gerar composições de conhecimento que são simultaneamente precisas e diversas.
4. Aumento de Dados Efetivo: Mostra que o uso do KCS para aumento de dados (data augmentation) melhora consistentemente o desempenho em tarefas downstream de MHQA.

4. Resultados Experimentais

Os experimentos foram conduzidos nos conjuntos de dados HotpotQA e 2WikiMultihopQA.

• Seleção de Composição de Conhecimento:

  • O KCS superou todas as linhas de base competitivas (incluindo métodos de recuperação, classificação, grafos de sentenças e LLMs zero-shot).
  • Houve uma melhoria de 3,9% na precisão geral (F1-Score) em comparação com a melhor linha de base de classificação (CLS).
  • O modelo atingiu cerca de 84-89% do limite superior teórico (MAX) na seleção de conhecimento.

• Geração de Perguntas Diversificada (Aumento de Dados):

  • Ao usar dados aumentados pelo KCS para treinar LLMs (LLaMA3.1 e Qwen2.5), houve melhorias consistentes nas métricas de Resposta a Perguntas (EM, Precision, Recall, F1) em ambos os datasets.
  • O KCS demonstrou um equilíbrio superior entre diversidade (medida por Pairwise-BLEU e métricas de LLM) e consistência, superando métodos como RAST e Composition, que tendem a gerar perguntas menos diversas ou mais ruidosas.

• Estudo de Ablação:

  • Confirmou-se que a arquitetura Encoder-Decoder é superior à Decoder-only.
  • A ordem das sentenças no treinamento e o comprimento da composição de conhecimento impactam significativamente o desempenho.
  • A perda contrastiva probabilística é crucial para a qualidade da seleção.

5. Significado e Impacto

O trabalho KCS é significativo porque:

• Desafia a dependência de Grafos: Diferente de métodos anteriores que dependem de grafos de conhecimento estruturados (que são caros e propensos a erros de extração), o KCS opera diretamente sobre texto não estruturado, tornando-o mais escalável e flexível.
• Resolve a Escassez de Dados: Oferece uma solução prática para o problema de dados esparsos em MHQA, gerando exemplos de treinamento semanticamente diversos e logicamente coerentes.
• Mecanismo de Coerência: A introdução da perda contrastiva probabilística para modelar a coerência entre sentenças em contextos longos é uma contribuição metodológica valiosa para tarefas de seleção de informação.

Em resumo, o KCS demonstra que a diversificação no nível do conhecimento (escolha de sentenças) é tão crucial quanto a diversificação no nível da expressão para melhorar a robustez e a generalização de modelos de IA em tarefas complexas de raciocínio multi-hop.