CQ-Transformer: A Query Decomposition Framework with ALBERT-Based Semantic Matching for Complex Extractive Question Answering

Resumo Técnico: CQ-Transformer

Definição do Problema
Os sistemas de Question Answering (QA) baseados em transformers existentes, incluindo modelos fundamentais como o BERT e seus derivados, enfrentam limitações significativas ao processar consultas complexas de múltiplas categorias e dependências contextuais de longo alcance. Esses modelos frequentemente produzem extrações de respostas ambíguas ou incompletas em tais cenários. Embora as abordagens de QA extrativo padrão se destaquem na extração de spans únicos, elas têm dificuldade em decompor perguntas multifacetadas em componentes discretos ou em manter a coerência através de sequências de texto estendidas, levando à degradação do desempenho em tarefas de recuperação de informação complexas do mundo real.

Metodologia
O artigo propõe o CQ-Transformer, um framework híbrido de QA projetado para abordar essas limitações por meio de um pipeline de três estágios: decomposição de consulta, correspondência semântica e extração de span.

1. Decomposição de Consulta (Função de Divisão/Split Function): O framework introduz uma função de divisão baseada em delimitadores que processa consultas complexas de múltiplas categorias. Ao utilizar delimitadores como vírgulas, "e" e pontos de interrogação, o sistema decompõe uma única consulta complexa em subconsultas discretas de categoria única. Isso permite que o sistema lide com perguntas de múltiplos saltos (multi-hop) ou multifacetadas que modelos padrão tratam como entradas monolíticas.
2. Correspondência de Similaridade Semântica (ALBERT): Uma vez decomposta, cada subconsulta passa por uma filtragem de relevância ao nível da sentença. O framework emprega um modelo ALBERT (A Lite BERT) pré-treinado para calcular a similaridade semântica entre cada subconsulta e as sentenças dentro do contexto da passagem. O ALBERT foi selecionado por seus mecanismos de compartilhamento de parâmetros, que reduzem a complexidade do modelo e o uso de memória, mantendo uma forte compreensão semântica. O sistema identifica a sentença mais relevante para cada subconsulta para servir como o contexto focado para a próxima etapa.
3. Extração de Span (RoBERTa/XLNet): As subconsultas selecionadas e suas respectivas sentenças relevantes são enviadas para codificadores pré-treinados — especificamente RoBERTa e XLNet. Esses modelos tokenizam a entrada, geram embeddings e predizem os limites de início e fim dos spans de resposta. O framework utiliza uma função argmax para selecionar os limites de span mais prováveis. Finalmente, os spans de resposta extraídos de todas as subconsultas são agregados em uma resposta unificada.

O sistema é avaliado utilizando o conjunto de dados SQuAD 2.0, que inclui perguntas respondíveis e não respondíveis, utilizando métricas como Exact Match (EM) e pontuação F1.

Principais Contribuições
Os autores identificam três contribuições primárias:

• Framework Híbrido: A integração do RoBERTa e XLNet com um mecanismo de decomposição de consulta e correspondência de similaridade baseada em ALBERT para abordar ambiguidades e dependências de longo alcance.
• Mecanismo de Decomposição de Consulta: A introdução de uma função de divisão específica que quebra consultas complexas de múltiplas categorias em subconsultas de categoria única, um passo frequentemente omitido em estudos anteriores que processam consultas de forma holística.
• Correspondência Baseada em ALBERT: A substituição de métodos de similaridade convencionais (como similaridade de cosseno ou correspondência baseada em LSTM) por um módulo de similaridade semântica baseado em ALBERT para identificar com maior precisão a sentença mais relevante para cada categoria de consulta.

Resultos
A avaliação experimental no conjunto de dados SQuAD 2.0 demonstra que o framework proposto supera significativamente os modelos de baseline:

• Variante RoBERTa-CQ: Alcançou uma pontuação F1 de 87,95% e um EM de 84,96%. Isso representa uma melhoria substancial sobre o baseline BERT (F1: 66,36%, EM: 57,85%), RoBERTa padrão (F1: 82,58%, EM: 76,58%) e XLNet (F1: 68,14%, EM: 65,45%).
• Variante XLNet-CQ: Atingiu uma pontuação F1 de 77,49% e um EM de 74,79%, também superando seus respectivos baselines.
• Análise Qualitativa: O artigo observa que, enquanto os modelos de baseline frequentemente falham totalmente ou fornecem respostas incompletas para consultas complexas de múltiplas categorias, o framework CQ-Transformer resolve essas incertezas de forma eficaz ao abordar cada categoria de consulta individualmente.

Significância e Alegações
O artigo afirma que o framework CQ-Transformer oferece uma solução escalável e de alto desempenho para tarefas de QA extrativo do mundo real, particularmente onde as consultas são complexas e exigem raciocínio de múltiplos passos. Ao resolver efetivamente consultas de múltiplas categorias e dependências de longo alcance, o framework demonstra potencial para implantação em sistemas de informação inteligentes, como mecanismos de busca empresarial, consulta de bases de conhecimento e plataformas de suporte ao cliente automatizado.

Os autores mantêm uma postura modesta em relação ao trabalho futuro, observando que o estudo atual foca em QA extrativo. Eles propõem que pesquisas futuras explorarão a generalização do framework em outros conjuntos de dados (ex: TriviaQA, Natural Questions), a integração de modelos generativos para geração de respostas de formato livre e extensões para suportar QA multilíngue. O estudo enfatiza que as melhorias propostas derivam da combinação específica de decomposição de consulta e correspondência semântica, e não apenas dos modelos pré-treinados subjacentes.