LiCQA : A Lightweight Complex Question Answering System

1. O Problema

O campo de Resposta a Perguntas (QA - Question Answering) de domínio aberto avançou significativamente nas últimas duas décadas. No entanto, responder a perguntas complexas — aquelas cujas respostas exigem a síntese de evidências espalhadas por múltiplos documentos e envolvem múltiplas entidades e relações — permanece um desafio.

Os sistemas de QA existentes enfrentam duas limitações principais:

• Sistemas Baseados em Conhecimento (KGs): Frequentemente incompletos e difíceis de manter atualizados.
• Sistemas Supervisionados Modernos (Deep Learning): Embora eficazes para perguntas simples (fatos contidos em um único documento), eles exigem grandes volumes de dados de treinamento anotados manualmente e são computacionalmente caros para treinar e implantar. Além disso, a maioria falha ao lidar com perguntas complexas que requerem raciocínio sobre múltiplos documentos.

2. Metodologia: O Sistema LiCQA

O LiCQA é um modelo de resposta a perguntas não supervisionado e leve, projetado para operar principalmente com base em evidências de corpus. Ele utiliza um pipeline padrão composto por quatro etapas principais:

1. Classificação do Tipo de Pergunta (Question Type Classification):

   • O sistema determina o tipo de entidade esperada na resposta (ex: Pessoa, Local, Data).
   • Foram testados dois abordagens: um classificador tradicional baseado em SVM (usando entidades nomeadas, lemas e tags POS) e um classificador neural baseado em Universal Sentence Encoder (USE). O SVM mostrou-se ligeiramente superior.

2. Extração e Filtragem de Respostas:

   • Uma busca por palavras-chave recupera um conjunto de documentos (D).
   • Entidades Nomeadas (NEs) são extraídas de cada documento usando Flair (baseado em embeddings contextualizados).
   • Um mapeamento manual é utilizado para alinhar as tags de entidades do Flair (OntoNotes 5) com os tipos de resposta esperados pelo classificador de perguntas. Apenas entidades que correspondem ao tipo esperado são mantidas como candidatas.

3. Avaliação (Scoring) das Respostas:

   • O objetivo é medir a relevância semântica entre a pergunta e as sentenças onde as entidades candidatas aparecem.
   • Embeddings de Sentença: Foram comparados InferSent (Bi-LSTM com GloVe) e Sentence-BERT. O InferSent performou melhor na maioria dos casos.
   • Métricas de Pontuação: A similaridade é calculada usando a similaridade de cosseno entre a pergunta e as sentenças contendo a entidade. Três métodos de agregação foram testados: média simples, média dos melhores matches por documento e apenas o melhor match (max-score). O método max-score mostrou-se superior.
   • Frequência de Documento (DF): Para reduzir custos computacionais e melhorar a precisão, as entidades são filtradas e ranqueadas inicialmente pela frequência de ocorrência nos documentos recuperados.

4. Ranqueamento Final:

   • A pontuação final é uma combinação da similaridade semântica e da frequência de documento normalizada.
   • A melhor configuração encontrada foi a multiplicação simples da similaridade semântica pela frequência de documento (comb-score∗), em vez de uma soma ponderada.

3. Principais Contribuições

• Sistema Não Supervisionado: Elimina a necessidade de grandes conjuntos de dados anotados para treinamento, tornando o sistema mais acessível e fácil de adaptar a novos domínios.
• Foco em Perguntas Complexas: Projetado especificamente para sintetizar respostas a partir de múltiplos documentos, um cenário onde muitos sistemas de ponta falham.
• Eficiência Computacional (Leve): O sistema foi otimizado para baixa latência, evitando arquiteturas de Deep Learning end-to-end pesadas, embora utilize modelos pré-treinados leves em sub-tarefas específicas.
• Avaliação com Métricas "Tie-Aware": O artigo introduz e utiliza versões de métricas de avaliação (tMRR, tP@1, tHit@5) que consideram empates (múltiplas respostas com o mesmo rank), oferecendo uma comparação mais justa e realista do que as métricas tradicionais.

4. Resultados Experimentais

O LiCQA foi comparado com dois sistemas state-of-the-art (QUEST e DrQA) e dois métodos baseados em grafos (BFS e ShortestPaths) em dois conjuntos de dados de perguntas complexas: WikiAnswers (CQ-W) e Google Trends (CQ-T).

• Desempenho (Eficácia):

  • No conjunto CQ-W, o LiCQA superou significativamente o QUEST (o segundo melhor) em MRR (21,6% de melhoria) e Hit@5 (71,8% de melhoria).
  • Nas métricas tie-aware (que penalizam sistemas que geram muitos empates incorretos), o LiCQA demonstrou superioridade clara sobre o QUEST e o DrQA, indicando que suas respostas são mais precisas e menos propensas a "alucinações" ou empates massivos.
  • O LiCQA conseguiu recuperar pelo menos uma resposta correta nos top 5 para mais de 63% das perguntas, superando consistentemente os baselines.

• Desempenho (Eficiência/Latência):

  • O LiCQA foi 8 vezes mais rápido que os sistemas baselines (QUEST e DrQA).
  • O QUEST, que constrói um grafo de conhecimento on-the-fly, e o DrQA, que usa redes neurais profundas, tiveram tempos de execução muito superiores. O LiCQA processou as consultas em média em 13-18 segundos, enquanto os baselines levaram entre 120 e 195 segundos.

5. Significado e Conclusão

O trabalho demonstra que é possível construir um sistema de resposta a perguntas complexo de alta performance sem depender de treinamento supervisionado massivo ou infraestrutura computacional pesada.

• Viabilidade Prática: A combinação de alta precisão e baixa latência torna o LiCQA viável para aplicações em tempo real.
• Validação da Abordagem: Os resultados desafiam a noção de que apenas modelos neurais profundos e supervisionados podem resolver problemas complexos de QA, mostrando que uma abordagem baseada em evidências de corpus, bem orquestrada, pode superar métodos mais complexos.
• Reprodutibilidade: Os autores disponibilizaram o código-fonte, facilitando a reprodução dos resultados e o desenvolvimento futuro na área.

Em suma, o LiCQA representa um avanço significativo ao equilibrar eficácia e eficiência na resolução de perguntas complexas, oferecendo uma alternativa robusta e leve aos modelos de IA generativa e supervisionada atuais.