💬 NLP

Structures Facilitate Retrieve, Rerank, and Generate

Ce document présente SF-Re2G, un système de dialogue ancré sur des documents qui exploite les informations structurelles des documents pour améliorer la représentation des passages, optimiser la recherche et le reclassement grâce au regroupement de sous-graphes, et générer des réponses plus contextuelles.

Auteurs originaux : Yeqin Zhang, Haomin Fu, Xujie Zhang, Cam-Tu Nguyen

Publié 2026-06-03

📖 6 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Yeqin Zhang, Haomin Fu, Xujie Zhang, Cam-Tu Nguyen

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous essayez de répondre à une question complexe en lisant une encyclopédie massive et multi-volumes. Par le passé, les systèmes informatiques tentant de faire cela (appelés Systèmes de Dialogue Fondés sur des Documents) traitaient l'encyclopédie comme un immense tas de feuilles de papier désorganisé. Ils découpaient le texte en morceaux de tailles aléatoires, effectuaient des recherches à travers eux, puis essayaient d'assembler une réponse.

Les auteurs de ce papier, Zhang et ses collègues, soutiennent que cette approche du « tas de papiers » néglige l'élément le plus important : la structure. Les documents réels ne sont pas seulement du texte aléatoire ; ils possèdent des chapitres, des titres, des tableaux et des étapes qui sont logiquement connectés les uns aux autres.

Voici comment leur nouveau système, SF-Re2G, fonctionne, expliqué par des analogies simples :

1. Le Problème : La « Recherche Aveugle »

Imaginez que vous cherchiez une recette spécifique dans un livre de cuisine.

L'ancienne méthode : L'ordinateur découpe le livre en bandes de papier aléatoires. Certaines bandes ne sont qu'une liste d'ingrédients ; d'autres sont un paragraphe entier sur l'histoire de la cuisine. Lorsque vous demandez : « Combien de temps dois-je faire cuire ceci ? », l'ordinateur pourrait saisir une bande qui dit « Préchauffer le four » mais manquer la bande située juste à côté qui dit « Cuire pendant 20 minutes » parce qu'elles ont été séparées par la découpe.
Le problème : Les anciens systèmes ignorent le fait que les informations liées se trouvent généralement juste à côté les unes des autres dans la « table des matières » ou la hiérarchie du livre.

2. La Solution : SF-Re2G (Retrieval, Rerank, and Generate facilité par la Structure)

Les auteurs proposent un système qui respecte la mise en page du « livre ». Ils décomposent le processus en trois étapes, comme une équipe de trois spécialistes :

Étape 1 : L'Éclaireur (Retrieval / Récupération)

Sa mission : Trouver les pages les plus pertinentes de l'encyclopédie.
L'innovation : Au lieu de simplement chercher des mots qui correspondent, l'Éclaireur apprend à reconnaître des « quartiers ».
L'analogie : Imaginez que l'Éclaireur est un détective. S'il trouve un indice concernant un « crime », il sait qu'il doit aussi regarder les pages du « commissariat » et de la « salle d'audience », car elles sont logiquement connectées dans la carte de la ville (la structure du document).
Comment cela fonctionne : Le système utilise une méthode d'entraînement spéciale appelée « apprentissage contrastif ». Il enseigne à l'ordinateur que les pages situées sous le même titre de chapitre sont des « voisines ». Si l'ordinateur choisit une mauvaise page qui est trop similaire à la bonne (un « négatif difficile »), il apprend à les distinguer en observant leur contexte structurel.

Étape 2 : Le Juge (Reranking / Reclassement)

Sa mission : L'Éclaireur rapporte une liste de 100 pages potentielles. Le Juge doit choisir les 5 meilleures.
L'innovation : Le Juge ne regarde pas les pages de manière isolée. Il les regarde en tant que groupe.
L'analogie : Imaginez que vous recrutiez une équipe pour un projet. L'ancienne méthode consistait à interviewer les candidats un par un. La nouvelle méthode consiste à les interviewer par « escadrons ». Si le Candidat A est un excellent codeur, mais qu'il postule pour un rôle qui nécessite un graphiste, et que son « escadron » (le reste de la section du document) est composé de graphistes, le Juge réalise que le Candidat A est en fait un choix parfait car tout le groupe soutient ce rôle.
Comment cela fonctionne : Le système regroupe les pages candidates en « sous-graphes » (des mini-clusters basés sur la structure en arbre du document). Il évalue une page non seulement sur son propre texte, mais aussi sur la façon dont elle s'intègre avec ses voisins structurels.

Étape 3 : L'Écrivain (Generation / Génération)

Sa mission : Rédiger la réponse finale à l'utilisateur.
L'innovation : L'Écrivain utilise le contexte du « sous-graphe » pour comprendre l'image globale.
L'analogie : Imaginez un journaliste écrivant un article. S'il n'a qu'une seule phrase provenant d'une source, il peut se tromper. Mais s'il possède le paragraphe entier et le contexte environnant (le sous-graphe), il peut écrire un récit beaucoup plus précis et nuancé.
Comment cela fonctionne : Le système injecte les pages choisies ainsi que leurs voisins structurels dans l'IA rédactrice. Cela aide l'IA à comprendre des choses telles que « l'étape 3 suit l'étape 2 » ou « cette cellule de tableau appartient à cet en-tête de ligne », ce qui conduit à de meilleures réponses.

Qu'ont-ils découvert ?

L'équipe a testé ce système sur deux « bibliothèques » de connaissances différentes :

MultiDoc2Dial : Une collection de documents en anglais (comme des formulaires gouvernementaux et des FAQ).
Doc2Bot : Une collection de documents en chinois (comme des guides de santé et d'assurance).

Les résultats :

Une meilleure précision : En respectant la structure du document, le système a trouvé les bonnes informations plus souvent que les anciennes méthodes de « feuilles de papier volantes ».
Des réponses plus intelligentes : Les réponses générées étaient plus précises et plus fluides.
Le bonus de la « structure » : Dans les documents ayant des structures claires (comme les guides d'assurance chinois avec des tableaux et des étapes bien définis), le système a montré une amélioration notable de ses performances. Cependant, dans les documents où la structure était désordonnée ou moins définie, le système fonctionnait tout de même bien, prouvant qu'il ne « casse » pas si la structure est faible, mais qu'il excelle quand la structure est forte.

En résumé

Le papier soutient que traiter un document comme un flux plat de texte revient à essayer de comprendre une ville en regardant un tas de briques. SF-Re2G revient à donner à l'ordinateur une carte de la ville, lui montrant comment les bâtiments (paragraphes), les rues (sections) et les quartiers (documents) sont connectés. Cela permet à l'ordinateur de trouver les bonnes informations plus rapidement et de construire de meilleures réponses.

Résumé Technique : SF-Re2G – Les structures facilitent la récupération, le reclassement et la génération

Énoncé du Problème

Les systèmes de dialogue fondés sur des documents (DGDS - Document-grounded Dialogue Systems) visent à générer des réponses précises en exploitant des documents externes. Cependant, les solutions existantes, telles que RAG et Re2G, traitent généralement les documents comme des séquences textuelles plates divisées en passages indépendants. Cette approche présente deux limitations critiques :

Problèmes de granularité : Les longueurs de passages fixes ne parviennent pas à s'adapter aux besoins d'information variables. Les passages longs introduisent du bruit pour des requêtes spécifiques, tandis que les passages courts manquent de contexte suffisant pour des questions complexes.
Informations structurelles ignorées : Les documents possèdent souvent des structures hiérarchiques inhérentes (par exemple, des tableaux, des en-têtes de section, des étapes logiques). Traiter ces documents comme des séquences plates rompt les connexions sémantiques entre des éléments liés (par exemple, l'en-tête d'un tableau et sa cellule correspondante), ce qui conduit à une sélection de connaissances et une génération de réponses sous-optimales.

Les méthodes actuelles ignorent largement ces indices structurels, ce qui entraîne des goulots d'étranglement de performance dans la récupération du savoir correct et la génération de réponses cohérentes.

Méthodologie : SF-Re2G

Les auteurs proposent SF-Re2G, un cadre qui intègre systématiquement l'information structurelle des documents dans les trois étapes clés du pipeline DGDS : la Récupération (Retrieval), le Reclassement (Reranking) et la Génération (Generation). Le système modélise les documents sous forme de graphes où les nœuds représentent des passages de longueurs variables (par exemple, des cellules de tableau, des paragraphes).

1. Récupération : Apprentissage contrastif structurel

Le module de récupération utilise une architecture de Bi-encodeur (basée sur DPR) mais introduit deux améliorations clés pour améliorer la représentation des passages et l'échantillonnage négatif :

Agrégation descendante (Top-Down) : Inspiré par TreeJC, le modèle agrège les informations de niveau supérieur (telles que les titres de paragraphes et les noms de documents) pour enrichir la représentation des passages individuels.
Apprentissage contrastif structurel : Les auteurs reconnaissent que les passages au sein d'une même section d'un graphe documentaire sont sémantiquement similaires et difficiles à distinguer. Pour y remédier, ils introduisent une stratégie d'échantillonnage de négatifs difficiles (hard negative sampling) où les échantillons négatifs sont tirés du voisinage du passage positif au sein de la structure du document. Cela force le modèle à apprendre des distinctions sémantiques plus fines entre les nœuds voisins.
Fonction de perte : Le modèle optimise la log-vraisemblance négative, en incorporant des négatifs au sein du lot (in-batch negatives) et des négatifs difficiles échantillonnés structurellement.

2. Reclassement : Score enrichi par la structure

Le module de reclassement emploie un Cross-Encoder pour reclasser les $k$ meilleurs candidats de l'étape de récupération.

Construction de sous-graphes : Les candidats récupérés sont regroupés en sous-graphes basés sur la structure du document (par exemple, en regroupant les passages provenant d'une même branche du document).
Entrée contextuelle : Au lieu de noter un passage de manière isolée, le reclassificateur prend en entrée le passage central accompagné de ses passages voisins au sein du même sous-graphe. Le format d'entrée inclut des jetons spéciaux ([core] pour le passage cible et [others] pour les voisins) afin de distinguer la cible de son contexte.
Mécanisme : Cela permet au modèle de tirer parti des probabilités de cooccurrence ; si un passage voisin correspond à la requête, cela augmente le score du passage central, et vice versa.

3. Génération : Pondération fusionnée par la structure

Le module de génération utilise un modèle BART pré-entraîné.

Fusion pondérée : Le système adopte une méthode de pondération similaire à Re2G. La probabilité de générer un jeton est calculée en sommant les probabilités du générateur conditionné sur chaque passage récupéré, pondérées par les scores de reclassement enrichis structurellement ( $p_\eta$ ).
Intégration de sous-graphes : Le générateur reçoit l'historique du dialogue, le passage central et le sous-graphe séquentiel ( $G_{sub}$ ) en entrée. Cela permet au modèle de fonder sa réponse non seulement sur le texte récupéré, mais aussi sur son contexte structurel.
Entraînement : Le reclassificateur et le générateur peuvent être entraînés conjointement sans nécessolement ré-entraîner le backbone BART pré-entraîné, en utilisant les résultats générés pour corriger les poids attribués par le reclassificateur.

Contributions Clés

Intégration structurelle systématique : Ce travail est le premier à étudier et intégrer systématiquement l'information structurelle à travers toutes les étapes (récupération, reclassement et génération) du pipeline DGDS, plutôt que de l'isoler à des modules spécifiques.
Nouvelle architecture (SF-Re2G) : Les auteurs introduisent une méthode qui exploite les graphes de documents pour gérer des longueurs de passages variables et utilise l'apprentissage contrastif structurel pour un meilleur échantillonnage de négatifs.
Validation empirique : La méthode démontre des performances supérieures par rapport aux approches de pointe sur les jeux de données anglais (MultiDoc2Dial) et chinois (Doc2Bot).

Résultats Expérimentaux

Les auteurs ont évalué SF-Re2G sur deux jeux de données : MultiDoc2Dial (anglais) et Doc2Bot (chinois).

Récupération : L'approche contrastive structurelle (DPRstruct) a amélioré le Recall@1 d'environ 2 % sur MultiDoc2Dial et de 1 % sur Doc2Bot par rapport au DPR standard.
Reclassement : Le reclassificateur enrichi par la structure (CrossEncoderstruct) a montré des améliorations constantes, particulièrement sur Doc2Bot, où il a obtenu une amélioration moyenne d'environ 1 % sur les métriques (Recall@1, Recall@5, Recall@10, Rprec). Sur MultiDoc2Dial, où l'information structurelle est moins distincte, les gains ont été marginaux.
Génération : SF-Re2G a atteint des performances de pointe sur les deux jeux de données pour les métriques F1, SacreBLEU et ROUGE. Notamment, les auteurs ont observé que supprimer le contexte du sous-graphe lors de la génération nuisait aux performances sur Doc2Bot (où la structure est riche) mais améliorait légèrement les performances sur MultiDoc2Dial. Cela suggère que le contexte structurel est plus bénéfique lorsque les documents sources possèdent des structures claires et significatives.

Signification et Revendications

L'article affirme que l'information structurelle des documents est une ressource précieuse et non négligeable pour les DGDS. Les auteurs soutiennent que les méthodes actuelles ignorant ces éléments entraînent des performances sous-optimales. En traitant les documents comme des graphes et en utilisant les relations structurelles pour l'apprentissage contrastif et la fusion de contexte, SF-Re2G fournit un cadre plus robuste pour la sélection de connaissances et la génération de réponses. Les résultats suggèrent que les recherches futures dans ce domaine devraient prioriser l'exploitation de la structure des documents plutôt que de traiter les documents comme de simples séquences de texte plat.