💬 NLP

Query-Adaptive Semantic Chunking for Retrieval-Augmented Generation: A Dynamic Strategy with Contextual Window Expansion

Ce papier présente le découpage sémantique adaptatif aux requêtes (QASC), une stratégie dynamique qui intègre les requêtes utilisateur dans le processus de segmentation des documents afin d'obtenir une pertinence et une cohérence de récupération nettement supérieures à celles des méthodes de découpage fixes, sémantiques et agentiques.

Auteurs originaux : Mudit Rastogi

Publié 2026-05-25

📖 4 min de lecture☕ Lecture pause café

CC0 1.0

Auteurs originaux : Mudit Rastogi

Article original placé dans le domaine public sous CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de trouver une recette spécifique dans une immense bibliothèque désorganisée de 100 livres de cuisine.

L'Ancienne Méthode (Découpage Traditionnel)
Actuellement, la plupart des systèmes informatiques qui répondent à des questions (appelés systèmes RAG) traitent ces livres en les découpant en morceaux de taille égale, comme si l'on tranchait un pain en parts uniformes, indépendamment de leur contenu.

Si vous demandez « Comment faire du pain au levain ? », le système peut vous remettre une tranche contenant la recette, mais qui inclut également trois pages d'une histoire sur l'enfance du boulanger et une liste d'épices sans rapport.
Si vous réduisez la taille des tranches pour éviter ce superflu, vous risquez de couper la recette en deux, omettant l'étape cruciale du pétrissage de la pâte.
Le système doit deviner la taille de tranche parfaite, mais aucune taille unique ne convient à toutes les questions. C'est comme essayer de faire entrer un clou carré dans un trou rond à chaque fois que vous posez une question.

La Nouvelle Méthode (QASC)
Cet article présente une nouvelle stratégie appelée Découpage Sémantique Adaptatif aux Requêtes (QASC). Au lieu de trancher le pain aveuglément, le QASC agit comme un lecteur attentif et intelligent qui surligne exactement les parties du livre dont vous avez besoin avant de découper quoi que ce soit.

Voici comment cela fonctionne, selon un processus simple en trois étapes :

Trouver la « Graine » (Le Surligneur) :
Lorsque vous posez une question, le QASC lit l'ensemble du document et cherche les phrases les plus similaires à votre question. C'est comme un lecteur parcourant une page et disant : « Aha ! Cette phrase est exactement ce que je cherche ! ». Ce sont ce qu'on appelle les phrases graines.
- Analogie : Si vous demandez « Quelle est la capitale de la France ? », le système surligne la phrase « Paris est la capitale de la France ».
Élargir la Fenêtre (La Bulle de Contexte) :
Une seule phrase surlignée est souvent insuffisante à elle seule. Elle peut avoir besoin de la phrase précédente pour expliquer pourquoi ou de la phrase suivante pour expliquer comment. Le QASC crée une « bulle » de contexte autour de cette phrase graine. Il récupère quelques phrases avant et après le surlignage pour s'assurer que la réponse a du sens par elle-même.
- Analogie : Si la phrase surlignée est « Il a gagné la course », le système récupère les phrases environnantes pour vous dire qui est « il » et quelle course il s'agissait, afin que la réponse ne soit pas confuse.
Fusionner et Polir (La Coupe Finale) :
Parfois, deux zones surlignées sont proches l'une de l'autre. Le QASC les fusionne en un seul bloc cohérent et fluide. Il vérifie également que le bloc ne commence ni ne se termine au milieu d'une pensée.
- Analogie : Si vous avez surligné deux paragraphes qui se suivent immédiatement, le QASC les colle ensemble pour former un paragraphe parfait, plutôt que de vous donner deux fragments de papier disjoint.

Pourquoi est-ce mieux ?
L'article a testé cette méthode contre l'ancienne méthode de « tranches uniformes » et d'autres méthodes sophistiquées. Voici ce qu'ils ont découvert :

Meilleures Réponses : Parce que les blocs sont construits spécifiquement autour de votre question, l'ordinateur n'a pas à deviner ce qui est important. Il obtient immédiatement les bonnes informations.
Moins de Confusion : Les réponses générées par l'ordinateur étaient plus précises et comptaient moins d'erreurs (hallucinations) car le contexte fourni était étroitement centré sur la question.
Vitesse vs Qualité : Bien que cette méthode prenne un tout petit peu plus de temps pour configurer les blocs (car elle doit lire la question en premier), elle reste assez rapide pour une utilisation en temps réel. C'est une petite attente pour un résultat bien meilleur.

La Conclusion
Pensez au découpage traditionnel comme à une machine d'usine qui hache tout en morceaux de même taille. Le QASC est comme un bibliothécaire personnel qui écoute votre demande spécifique, trouve exactement les pages dont vous avez besoin, et vous remet un livret parfaitement relié et pertinent.

L'article prouve qu'en laissant la question de l'utilisateur décider comment découper le document, plutôt que de découper d'abord et de demander ensuite, nous obtenons des réponses significativement meilleures, plus précises et plus utiles.

Résumé technique : Découpage sémantique adaptatif à la requête pour la génération augmentée par récupération

1. Énoncé du problème

Les systèmes de génération augmentée par récupération (RAG) dépendent fortement de la qualité du découpage des documents pour récupérer le contexte pertinent nécessaire à la génération en aval. Les approches traditionnelles utilisent principalement un découpage de taille fixe, qui segmente les documents en unités uniformes, indépendamment de la structure sémantique ou de l'intention de l'utilisateur. Cette rigidité crée un compromis irréconciliable : des fragments plus petits améliorent la précision mais risquent de perdre le contexte global, tandis que des fragments plus grands préservent le contexte mais diluent la pertinence avec du matériel extrinsèque.

Les méthodes avancées existantes, telles que le découpage sémantique (basé sur la similarité des plongements) et le découpage agentique (basé sur l'intention), abordent la cohérence structurelle mais partagent une limitation fondamentale : elles sont agnostiques à la requête. Elles effectuent la segmentation comme une étape de prétraitement indépendante de la requête spécifique de l'utilisateur. Par conséquent, un document est découpé de manière identique que l'utilisateur recherche une méthodologie, des résultats ou un concept technique spécifique, manquant ainsi une opportunité critique d'optimiser la pertinence à la source.

2. Méthodologie : Découpage sémantique adaptatif à la requête (QASC)

L'article propose le Découpage sémantique adaptatif à la requête (QASC), une stratégie dynamique qui intègre directement la requête de l'utilisateur dans le processus de segmentation. Le QASC fonctionne via un pipeline qui imite le comportement de lecture humain : identifier les points d'intérêt, rassembler le contexte environnant, évaluer la pertinence collective et synthétiser des unités cohérentes.

La méthodologie se compose de quatre mécanismes principaux :

Sélection de phrases amorce via un score de similarité :
- Le document $D$ est divisé en phrases $S = \{s_1, ..., s_n\}$ .
- Les plongements de phrases $e(s_i)$ et le plongement de la requête $e(q)$ sont calculés à l'aide d'un modèle préentraîné (par exemple, Sentence-BERT).
- La similarité cosinus est calculée pour toutes les phrases par rapport à la requête.
- Seuil adaptatif : Au lieu d'un seuil fixe, un seuil basé sur les percentiles $\tau$ (par exemple, le 75e percentile des scores de similarité) est utilisé pour sélectionner les « phrases amorce ». Cela garantit que le nombre de graines s'adapte naturellement à la longueur du document et à la spécificité de la requête.
Expansion de la fenêtre contextuelle :
- Pour chaque phrase amorce, une fenêtre contextuelle est construite en incluant $m$ phrases avant et après l'amorce.
- Cela peut être un rayon fixe ou adaptatif, s'étendant vers l'extérieur jusqu'à ce que la similarité des phrases limites tombe en dessous d'un seuil secondaire. Cela garantit que les graines ne sont pas récupérées isolément, mais accompagnées d'un contexte suffisant pour l'interprétabilité.
Agrégation des scores au niveau du fragment :
- Pour éviter de récupérer des phrases à score élevé isolées et entourées de bruit non pertinent, le QASC calcule un score de pertinence agrégé pour chaque fenêtre candidate.
- Ce score est une moyenne pondérée des scores de similarité de toutes les phrases de la fenêtre, où les poids décroissent exponentiellement avec la distance par rapport à l'amorce ( $\alpha_i = \exp(-\lambda \cdot |i - r|)$ ).
- Les fragments sont conservés uniquement si leur score agrégé dépasse un seuil (par exemple, $0,6 \times \tau$ ), garantissant une pertinence holistique.
Résolution des limites et fusion :
- Les fenêtres candidates se chevauchant ou adjacentes sont fusionnées de manière itérative pour minimiser la redondance.
- Les limites finales des fragments sont ajustées pour s'aligner sur des ruptures linguistiques naturelles (paragraphes, sections) afin d'assurer un flux logique et une autonomie.

L'algorithme fonctionne au moment de la requête, ce qui signifie que le découpage est effectué dynamiquement pour chaque requête spécifique plutôt que précalculé lors de l'indexation.

3. Contributions clés

L'article expose quatre contributions principales :

Conception de l'algorithme : Un algorithme adaptatif à la requête qui utilise la similarité cosinus pour identifier les phrases amorce et étend les fenêtres contextuelles pour former des fragments optimisés en pertinence.
Mécanisme de notation : Un mécanisme d'agrégation au niveau du fragment qui évalue la pertinence holistique d'un passage plutôt que de s'appuyer sur des scores de phrases individuelles, réduisant ainsi le risque de récupération sans contexte.
Protocole de cohérence : Un protocole de fusion et de résolution des limites qui gère les fenêtres se chevauchant et assure des transitions fluides, préservant la cohérence au niveau du document.
Évaluation complète : Une évaluation empirique rigoureuse contre sept lignes de base (incluant cinq granularités fixes, une division récursive, un découpage sémantique et un découpage agentique) sur 100 documents techniques et 200 requêtes diversifiées.

4. Résultats expérimentaux

L'évaluation a été menée sur un corpus de 100 documents techniques (rapports académiques, logiciels et de domaine) utilisant 200 requêtes réparties en quatre types : factuelle, thématique, comparative et multi-sauts.

Métriques de performance : Le QASC a obtenu un score F1 de 0,85, représentant :
- Une amélioration relative de 18 à 27 % par rapport aux lignes de base de découpage fixe (meilleur fixe : 0,72).
- Une amélioration relative de 8 à 12 % par rapport aux lignes de base de découpage sémantique et agentique (sémantique : 0,76 ; agentique : 0,74).
Fidélité : Le QASC a obtenu le score de fidélité le plus élevé (0,87), indiquant une réduction significative des affirmations hallucinées ou non étayées par rapport aux lignes de base. Cela est attribué à la densité de pertinence plus élevée des fragments récupérés.
Latence : Le QASC a introduit une latence supplémentaire (380 ms) par rapport au découpage fixe (110–120 ms) en raison du traitement au moment de la requête, mais est resté comparable au découpage sémantique basé sur des plongements (340 ms) et bien en deçà des seuils interactifs inférieurs à la seconde.
Évaluation humaine : Trois annotateurs indépendants ( $\kappa$ de Cohen = 0,82) ont évalué le QASC significativement plus haut que toutes les lignes de base en termes de pertinence (4,4/5), de cohérence (4,2/5), de complétude (4,3/5) et de qualité de la réponse (4,3/5).
Robustesse : Le QASC a démontré des améliorations relatives constantes (+9 points F1) à travers des documents de complexité variable (faible, moyenne, élevée) et des types de requêtes.

5. Signification et affirmations

L'article affirme que le QASC représente un changement de paradigme passant de « découper puis récupérer » à « requêter, puis découper, puis récupérer ».

Résolution des compromis : En déplaçant la fonction de filtrage de la pertinence de l'étape de récupération vers l'étape de découpage, le QASC résout la tension inhérente entre précision et rappel dans le découpage fixe. Il pré-filtre les candidats afin que le récupérateur classe des « aiguilles pré-sélectionnées » plutôt que de chercher des aiguilles dans une botte de foin de matériel non pertinent.
Alignement contextuel : La méthode aligne le traitement du document avec l'objectif fondamental de la récupération d'information : fournir la bonne information, dans le bon contexte, pour la bonne question.
Praticité : Bien qu'introduisant une latence au moment de la requête, l'article soutient qu'il s'agit d'un compromis nécessaire pour une génération de haute qualité. Il suggère des architectures hybrides (pré-découpage pour la récupération initiale, suivie d'un re-découpage QASC sur les meilleurs candidats) comme une voie viable pour l'évolutivité en production.

Les auteurs concluent que le découpage ne doit pas être traité comme une réflexion après coup de prétraitement, mais comme une décision de conception critique et de premier ordre dans les systèmes RAG. En intégrant l'intention de l'utilisateur directement dans la segmentation, le QASC améliore considérablement la qualité de la récupération, la précision de la génération et la fidélité du système.