CQ-Transformer: A Query Decomposition Framework with ALBERT-Based Semantic Matching for Complex Extractive Question Answering

Résumé Technique : CQ-Transformer

Énoncé du Problème
Les systèmes de Question-Réponse (QA) existants basés sur les Transformers, y compris les modèles fondamentaux comme BERT et ses dérivés, font face à des limitations significatives lors du traitement de requêtes complexes à catégories multiples et de dépendances contextuelles à longue portée. Ces modèles produisent fréquemment des extractions de réponses ambiguës ou incomplètes dans de tels scénarios. Alors que les approches classiques de QA extractive excellent dans l'extraction de segments uniques (single-span), elles peinent à décomposer les questions multifacettes en composants discrets ou à maintenir la cohérence à travers des séquences de texte étendues, ce qui entraîne une dégradation des performances dans les tâches réelles de recherche d'information complexe.

Méthodologie
L'article propose le CQ-Transformer, un cadre de QA hybride conçu pour remédier à ces limitations via un pipeline en trois étapes : décomposition de la requête, appariement sémantique et extraction de segments (span extraction).

1. Décomposition de la Requête (Fonction de Division) : Le cadre introduit une fonction de division basée sur des délimiteurs qui traite les requêtes complexes à catégories multiples. En utilisant des délimiteurs tels que les virgules, le mot « et » et les points d'interrogation, le système décompose une requête complexe unique en sous-requêtes discrètes à catégorie unique. Cela permet au système de gérer des questions à sauts multiples (multi-hop) ou multifacettes que les modèles standards traitent comme des entrées monolithiques.
2. Appariement de Similitude Sémantique (ALBERT) : Une fois décomposée, chaque sous-requête subit un filtrage de pertinence au niveau de la phrase. Le cadre utilise un modèle ALBERT (A Lite BERT) pré-entraîné pour calculer la similitude sémantique entre chaque sous-requête et les phrases au sein du passage contextuel. ALBERT est choisi pour ses mécanismes de partage de paramètres, qui réduisent la complexité du modèle et l'utilisation de la mémoire tout en maintenant une forte compréhension sémantique. Le système identifie la phrase la plus pertinente pour chaque sous-requête afin de servir de contexte focalisé pour l'étape suivante.
3. Extraction de Segments (RoBERTa/XLNet) : Les sous-requêtes sélectionnées et leurs phrases pertinentes correspondantes sont transmises à des encodeurs pré-entraînés — spécifiquement RoBERTa et XLNet. Ces modèles tokenisent l'entrée, génèrent des plongements (embeddings) et prédisent les limites de début et de fin des segments de réponse. Le cadre utilise une fonction argmax pour sélectionner les limites de segments les plus probables. Enfin, les segments de réponse extraits de toutes les sous-requêtes sont agrégés en une réponse unifiée.

Le système est évalué à l'aide du jeu de données SQuAD 2.0, qui comprend des questions avec et sans réponse, en utilisant des métriques telles que l'Exact Match (EM) et le score F1.

Contributions Clés
Les auteurs identifient trois contributions primaires :

• Cadre Hybride : L'intégration de RoBERTa et XLNet avec un mécanisme de décomposition de requête et un appariement sémantique basé sur ALBERT pour traiter l'ambiguïté et les dépendances à longue portée.
• Mécanisme de Décomposition de Requête : L'introduction d'une fonction de division spécifique qui décompose les requêtes complexes à catégories multiples en sous-requêtes à catégorie unique, une étape souvent omise dans les études antérieures qui traitent les requêtes de manière holistique.
• Appariement basé sur ALBERT : La substitution des méthodes d'appariement conventionnelles (telles que la similitude cosinus ou l'appariement basé sur LSTM) par un module de similitude sémantique basé sur ALBERT pour identifier plus précisément la phrase la plus pertinente pour chaque catégorie de requête.

Résultats
L'évaluation expérimentale sur le jeu de données SQuAD 2.0 démontre que le cadre proposé surpasse significativement les modèles de référence (baselines) :

• Variante RoBERTa-CQ : A atteint un score F1 de 87,95 % et un Exact Match (EM) de 84,96 %. Cela représente une amélioration substantielle par rapport au modèle de référence BERT (F1 : 66,36 %, EM : 57,85 %), au RoBERTa standard (F1 : 82,58 %, EM : 76,58 %) et à XLNet (F1 : 68,14 %, EM : 65,45 %).
• Variante XLNet-CQ : A obtenu un score F1 de 77,49 % et un EM de 74,79 %, surpassant également ses modèles de référence respectifs.
• Analyse Qualitative : L'article note que, tandis que les modèles de référence échouent souvent totalement ou fournissent des réponses incomplètes aux requêtes complexes à catégories multiples, le cadre CQ-Transformer résout efficacement ces incertitudes en traitant chaque catégorie de requête individuellement.

Signification et Revendications
L'article affirme que le cadre CQ-Transformer offre une solution évolutive et performante pour les tâches de QA extractif du monde réel, particulièrement lorsque les requêtes sont complexes et nécessitent un raisonnement multi-étapes. En résolvant efficacement les requêtes à catégories multiples et les dépendances à longue portée, le cadre démontre un potentiel de déploiement dans des systèmes d'information intelligents, tels que les moteurs de recherche d'entreprise, l'interrogation de bases de connaissances et les plateformes de support client automatisées.

Les auteurs maintiennent une position modeste concernant les travaux futurs, notant que l'étude actuelle se concentre sur le QA extractif. Ils proposent que les recherches futures exploreront la généralisabilité du cadre sur d'autres jeux de données (ex: TriviaQA, Natural Questions), l'intégration de modèles génératifs pour la génération de réponses en langage libre, et des extensions pour supporter le multilinguisme. L'étude souligne que les améliorations proposées découlent de la combinaison spécifique de la décomposition de requête et de l'appariement sémantique, plutôt que uniquement des modèles pré-entraînés sous-jacents.