Résumé Technique : GORAG pour la Classification de Textes de Médias Sociaux à Apprentissage par Peu d'Exemples Dynamique

Énoncé du Problème

L'article traite de la tâche de Classification de Textes de Médias Sociaux à Apprentissage par Peu d'Exemples Dynamique (DFSTC - Dynamic Few-shot Social Media Text Classification). Ce scénario implique la classification de textes issus des médias sociaux (ex: discours de haine, désinformation) où :

1. Rareté des Données : Seuls quelques exemples étiquetés sont disponibles par classe (few-shot).
2. Évolution Dynamique : De nouvelles classes (étiquettes) émergent fréquemment au fil du temps (ex: nouveaux types d'abus ou de désinformation), nécessant une adaptation du modèle sans réentraînement intensif ni nouvelles données étiquetées.
3. Limites des Approches Existantes :
   • Modèles de Réseaux de Neurones (NN) : Nécessitent un grand nombre de données étiquetées pour le réglage fin (fine-tuning) et souffrent souvent de surapprentissage (overfitting) lorsque les données sont rares ou déséquilibrées.
   • Augmentation de Données : Les données générées manquent souvent de diversité de motifs et conduisent au surapprentissage.
   • RAG à Contexte Long : Bien que les Grands Modèles de Langage (LLM) puissent gérer des tâches de few-shot, l'intégration d'informations de côté récupérées (comme les descriptions d'étiquettes) augmente la taille de l'entrée, noyant les détails critiques dans le bruit et augmentant les coûts de jetons (tokens).
   • RAG Basé sur les Graphes Existant : Les approches actuelles souffrent de trois problèmes spécifiques dans le contexte du DFSTC :
     • Indexation Uniforme : Traite tous les fragments de texte et les extractions de mots-clés avec une importance égale, ignorant les variations de niveaux de confiance.
     • Récupération Non-Adaptative : Repose sur des seuils de récupération prédéfinis globalement, qui peuvent ne pas être optimaux pour des requêtes spécifiques ou des cycles évolutifs.
     • Source Étroite : Récupère des informations uniquement à partir d'un ensemble limité de textes d'entraînement, ignorant les informations précieuses qui émergent dans les textes de requête.

Méthodologie : GORAG

Les auteurs proposent GORAG (Graph-based Online Retrieval Augmented Generation), un cadre conçu pour construire et maintenir un graphe pondéré en ligne adaptatif afin de récupérer un contexte précis pour la classification. Le cadre opère en trois étapes clés :

1. Indexation de Graphe Hors Ligne (Offline)

GORAG construit un graphe pondéré $G_r$ basé sur les données d'entraînement étiquetées $D_r$ pour le cycle actuel $r$.

• Nœuds : Le graphe se compose de nœuds de mots-clés (extraits du texte via des scores TF-IDF normalisés) et de nœuds d'étiquettes (représentant les classes cibles).
• Mécanisme de Pondération des Arêtes : Contrairement à l'indexation uniforme, GORAG assigne des poids aux arêtes reliant les mots-clés aux étiquettes. Le poids $w_{v,y}$ est calculé en fonction de l'importance du mot-clé dans le corpus textuel et de sa pertinence par rapport à l'étiquette spécifique $y$. Ceci est dérivé de la moyenne de $(1 - \text{score TF-IDF})$ à travers tous les textes contenant le mot-clé et étiquetés avec $y$.
• Fusion de Graphes : Les graphes des cycles précédents sont fusionnés avec les nouveaux graphes. Pour assurer la connectivité entre les anciens et les nouveaux ensembles d'étiquettes, des arêtes sont ajoutées entre les nœuds d'étiquettes anciens et nouveaux, avec des poids calculés comme la moyenne de leurs connexions à des nœuds de mots-clés partagés.

2. Récupération de Graphe Adaptative

Pour une requête donnée, GORAG effectue une récupération sans seuils définis par l'humain.

• Extraction de Mots-Clés : Les mots-clés sont extraits du texte de la requête. Ceux qui existent déjà dans le graphe ($V_{exist}$) sont utilisés pour la récupération ; les nouveaux ($V_{notexist}$) sont réservés pour l'indexation en ligne.
• Arbre Couvrant de Poids Minimum (MST - Minimum-Cost Spanning Tree) : Le problème de récupération est formulé comme la recherche d'un sous-graphe connectant tous les nœuds de mots-clés extraits avec le poids total d'arête minimum (un problème de l'arbre de Steiner, qui est NP-difficile).
• Solution Gloutonne : Un algorithme glouton (basé sur l'algorithme de Melhorn) approxime la solution. Il construit un Arbre Couvrant de Poids Minimum (MST) sur le graphe incluant les mots-clés de la requête.
• Sélection de Candidats : Tous les nœuds d'étiquettes contenus dans ce MST généré sont récupérés en tant qu'ensemble d'étiquettes candidates $\hat{Y}_r$. Cela garantit que seuls les étiquettes sémantiquement connectées aux mots-clés de la requête via le chemin le plus efficace sont considérées, éliminant ainsi le besoin de seuils arbitraires.

3. Classification et Indexation de Graphe en Ligne

• Classification : Le LLM reçoit le texte de la requête, les étiquettes candidates récupérées et leurs descriptions (si disponibles) pour effectuer la classification finale.
• Indexation en Ligne : Pour traiter le problème de la "source étroite", le cadre met à jour le graphe en temps réel. Les mots-clés extraits du texte de la requête qui n'existent pas encore dans le graphe sont ajoutés comme de nouveaux nœuds. Ils sont connectés à l'étiquette prédite du texte de la requête avec des poids calculés via le même mécanisme de pondération des arêtes. Cela enrichit le graphe pour les requêtes futures, bien que le mécanisme inclue des pénalités pour réduire le bruit provenant de classifications potentiellement inexactes par le LLM.

Contributions Clés

1. Proposition de Cadre : Introduction de GORAG, un cadre de RAG en ligne spécifiquement pour le DFSTC qui traite l'indexation uniforme, la récupération non-adaptative et les problèmes de source étroite.
2. Mécanisme de Pondération des Arêtes : Une méthode novatrice pour pondérer les arêtes entre les mots-clés et les étiquettes en fonction de l'importance du corpus et de la pertinence de l'étiquette, permettant une modélisation plus précise des relations.
3. Formulation de Récupération Adaptative : Formulation de la récupération d'étiquettes candidates comme un problème d'arbre de Steiner et fourniture d'une solution algorithmique gloutonne efficace qui élimine le besoin de seuils définis par l'homme.
4. Validation Empirique : Expérimentations approfondies démontrant l'efficacité et l'efficience de GORAG à travers des benchmarks de détection d'abus sur les médias sociaux et de désinformation.

Résultats Expérimentaux

Les auteurs ont évalué GORAG sur trois jeux de données : CAD (abus sur les médias sociaux), WOS (résumés académiques) et IFS-Rel (désinformation dans les actualités web).

• Efficacité : GORAG a surpassé toutes les bases de référence (incluant les modèles basés sur les NN comme Entailment, les RAG à contexte long comme NaiveRAG et LongLLMLingua, et les RAG basés sur les graphes comme GraphRAG, LightRAG et HippoRAG2) à travers tous les cycles et configurations de shots (1-shot, 5-shot, 10-shot).
  • Sur le jeu de données IFS-Rel (1-shot), GORAG a atteint une précision de 96,88 % au Cycle 1, surpassant nettement le second meilleur (LightRAG à 75,78 %).
  • GORAG a maintenu une précision compétitive à mesure que le nombre de cycles augmentait (jusqu'à 8 cycles), alors que les bases de référence comme GraphRAG et NaiveRAG ont connu des chutes de performance significatives.
• Efficience :
  • Coût en Jetons (Tokens) : GORAG a consommé nettement moins de jetons par requête (ex: 557,5 jetons sur IFS-Rel) comparé aux bases de référence RAG basées sur les graphes (ex: GraphRAG à 9296,3 jetons), entraînant des coûts moindres.
  • Temps : Malgré l'indexation en ligne, GORAG a obtenu une efficacité temporelle comparable ou supérieure aux bases de référence.
  • Mémoire : L'utilisation de la mémoire du graphe est restée faible (moins de 50 Ko pour le jeu de données testé), montrant une bonne scalabilité.
• Études d'Ablation : Le retrait de l'indexation en ligne ("GORAG offline") ou du mécanisme de pondération des arêtes ("GORAG unit") a entraîné une baisse de précision, confirmant la nécessité de ces deux composants.

Signification et Revendications

L'article affirme que GORAG fournit une solution robuste pour les scénarios réels où les tâches de classification évoluent dynamiquement avec des données étiquetées limitées. En exploitant un graphe pondéré et une récupération adaptative via le MST, GORAG :

• Préserve les informations fines au niveau de l'entité qui sont souvent perdues dans les approches RAG à contexte long.
• S'adapte aux nouvelles classes et aux mises à jour d'étiquettes sans nécessiter de réentraînement extensif ou de réglage manuel des seuils.
• Réduit le problème du "perdu au milieu" (lost-in-the-middle) et les coûts élevés en jetons associés aux LLM propriétaires gérant des contextes longs.
• Démontre qu'une récupération précise basée sur les graphes peut considérablement améliorer les performances des LLM dans les tâches de classification few-shot et dynamiques, particulièrement pour des applications sensibles comme la détection des discours de haine et de la désinformation.

Les auteurs concluent que GORAG équilibre efficacement le besoin d'un contexte complet avec les contraintes des environnements dynamiques et de few-shot, offrant une approche pratique pour les applications "Web for Good".