Résumé Technique : Routeur Neuronal : Correspondance Sémantique de Contenu pour l'IA Agentique

1. Énoncé du Problème

Alors que les agents d'IA autonomes opèrent à travers le continuum informatique (cloud, périphérie, IoT), ils doivent découvrir et consommer des informations provenant de sources diverses présentant des formats de données, des vocabulaires et des modalités variés. Les systèmes traditionnels de publication/abonnement (pub/sub) basés sur le contenu reposent sur la correspondance de mots-clés ou des filtres basés sur des attributs, qui échouent à combler le « fossé sémantique » lorsque les éditeurs et les abonnés utilisent des terminologies ou des modalités différentes (par exemple, des activations brutes de capteurs par rapport à des descriptions d'activité en langage naturel). Bien que la correspondance sémantique basée sur des plongements (embeddings) offre une solution intermédiaire, elle manque du raisonnement abductif requis lorsque les modalités ne sont pas alignées.

L'article aborde la conception d'un moteur de correspondance pour un courtier pub/sub qui utilise des modèles de langage de grande taille (LLM) pour évaluer si un élément de contenu satisfait une description d'intérêt en langage naturel. Le défi principal consiste à intégrer les LLM dans la boucle de correspondance tout en gérant les compromis entre la précision sémantique, la latence et le coût computationnel, en particulier compte tenu des contraintes des fenêtres de contexte et du caractère non déterministe de l'inférence des LLM.

2. Méthodologie et Architecture

Les auteurs proposent le Routeur Neuronal, un courtier pub/sub basé sur le contenu où le LLM sert de moteur de correspondance principal. Le système est formulé comme un problème de récupération multi-étiquettes hors ligne et emploie une architecture à deux niveaux :

• Chemin d'Abonnement Hors Ligne :

  • Plongement et Regroupement : Les descriptions d'abonnement en texte libre sont plongées (à l'aide de Sentence-BERT) et regroupées via $k$-means en groupes sémantiquement cohérents.
  • Compression : Au sein de chaque groupe, un algorithme CoverAndMerge (Algorithme 4) utilise le LLM pour identifier les abonnements qui sont sémantiquement subsumés par des plus larges (couverture) ou peuvent être combinés (fusion). Cela réduit l'empreinte en jetons de l'ensemble des abonnements.
  • Assignation Backend : Les groupes sont assignés à des backends LLM spécifiques sur la base d'un score d'Expérience de Qualité (QoE), qui est une scalarisation pondérée de la précision, du coût et de la latence.

• Chemin d'Événement en Ligne :

  • Routage : Les événements entrants sont plongés et acheminés vers des groupes candidats basés sur la similarité cosinus avec les centroïdes des groupes.
  • Regroupement et Correspondance : Les événements sont accumulés en lots et emballés dans des invites (prompts) LLM aux côtés de l'ensemble d'abonnement compressé du groupe cible. Le LLM renvoie les $\kappa$ meilleurs abonnements correspondants pour chaque événement.

Algorithmes Clés

1. OptimizeSubscriptions : Prépare la table de correspondance en plongeant, regroupant et compressant les abonnements, puis en assignant les backends.
2. MatchEvents : Achemine les événements vers les groupes, les regroupe en lots, et invoque le LLM assigné pour la correspondance sémantique.
3. CoverAndMerge : Un processus itératif assisté par LLM qui réduit la taille de l'ensemble des abonnements tout en visant à préserver le rappel.

Modèle de Coût et Analyse de Point de Basculement

L'article dérive un modèle de coût prédisant deux points de basculement critiques :

1. Point de Basculement de la Fenêtre de Contexte ($W_{cross}$) : Un seuil théorique en dessous duquel la compression (réduction des jetons d'abonnement) augmente la taille des lots d'événements par invocation LLM, réduisant ainsi le nombre total d'invocations et la latence. Au-dessus de ce seuil (typique des LLM cloud modernes avec de grandes fenêtres de contexte), la surcharge du regroupement et des multiples invites l'emporte sur les économies réalisées par la compression.
2. Point de Basculement de la Capacité de Discrimination ($|S|_{cross}$) : Un seuil empirique où le nombre d'abonnements ($|S|$) dépasse la capacité du LLM à prendre des décisions de pertinence binaire simultanées précises. Au-delà de ce point, la précision de la correspondance s'effondre, indépendamment de la taille de la fenêtre de contexte, en raison des contraintes du budget d'attention.

3. Configuration Expérimentale

L'évaluation couvre trois jeux de données publics représentant différents domaines et difficultés sémantiques :

• CardiffNLP (D1) : Tweets de réseaux sociaux (19 sujets, faible fossé sémantique).
• EUR-Lex (D2) : Documents juridiques de l'UE (201 matières, fossé sémantique modéré, contexte long).
• CASAS (D3) : Journaux de capteurs de maison intelligente (19 activités, fort fossé de modalité nécessitant un raisonnement abductif).

Backends : Six LLM ont été évalués :

• Poids ouverts : Qwen 2.5 (1,5B, 7B, 32B) et Mistral 7B.
• API fermées : Claude 3 Haiku et Claude 3 Sonnet.

Lignes de base : Sept lignes de base incluaient la correspondance de mots-clés (BM25, TF-IDF), la similarité de plongement (Sentence-BERT, GloVe, Word2Vec), le score neuronal par paires (Cross-Encoder), et la classification zero-shot (DistilBART-MNLI).

Configurations : Sept configurations d'ablation (A0–A6) ont testé l'impact du regroupement, de la compression, de la réunification et du filtrage.

4. Résultats Clés

Compromis Coût-Précision

• Point de Basculement de la Fenêtre de Contexte : Sur les jeux de données avec de grandes fenêtres de contexte (API cloud, $W \ge 128K$), la configuration LLM Brut (A0) domine. Le regroupement et la compression (A1, A3, A4) augmentent le nombre d'invocations LLM sans améliorer la précision, car la fenêtre de contexte n'est pas la contrainte limitante.
• Régime de Périphérie : Dans des environnements contraints ($W \approx 4K$), la compression (A4) réduit les invocations. Cependant, l'article observe un effondrement des prédictions vides : à mesure que l'ensemble des abonnements croît par duplication, le vocabulaire du LLM se rétrécit, et il renvoie de plus en plus de correspondances vides, provoquant une chute significative de la précision malgré la compression.

Capacité de Discrimination

• Dépendance au Modèle : La précision décline lorsque $|S|$ dépasse un seuil spécifique au modèle ($|S|_{cross}$). Ce seuil n'est pas un scalaire global mais dépend du facteur conjoint du nombre de paramètres et de la génération d'entraînement.
• Résultats sur D2 ($|S|=201$) :
  • Les petits modèles (Qwen 1,5B, 7B) se sont effondrés vers une précision proche de zéro.
  • Les grands modèles (Qwen 32B) et les générations plus récentes (Mistral 7B) ont montré une récupération partielle mais sont restés en dessous des lignes de base par paires.
  • Seul le modèle frontalier d'API fermée (Claude Sonnet) a significativement surpassé les lignes de base par paires.
• Conclusion : L'assignation du backend (choix du modèle) est le levier principal de performance ; le réglage du pipeline (regroupement/compression) est secondaire.

Assignation Backend basée sur la QoE

• Un cadre d'assignation basé sur la QoE a été testé contre une ligne de base Round-Robin.
• Sur un gradient 7B/32B, Round-Robin a atteint 83 % de la fermeture de l'écart de précision du niveau supérieur à 0,7x la latence.
• L'approche optimisée QoE n'a pas constamment surpassé Round-Robin en raison du bruit de calibration ; l'échantillon de calibration réduit (10 %) était insuffisant pour distinguer de manière fiable la performance des backends au niveau du groupe. Une séparation n'a été observée que sous des préréglages de poids spécifiques « coût en premier ».

5. Signification et Revendications

L'article revendique les contributions et la signification suivantes :

• Premier Pub/Sub avec LLM dans la Boucle : C'est le premier système à placer un LLM directement à l'intérieur de la boucle de correspondance de contenu d'un courtier pub/sub, allant au-delà de l'utilisation des LLM uniquement pour l'orchestration ou la génération de notifications post-correspondance.
• Caractérisation à Deux Points de Basculement : L'article fournit un cadre principiel pour comprendre quand la correspondance basée sur LLM est viable. Il identifie que la capacité de discrimination (la capacité à raisonner sur de nombreuses options simultanées) est souvent une contrainte plus stricte que la taille de la fenêtre de contexte.
• Conseils Pratiques :
  • Pour les grandes fenêtres de contexte, une correspondance brute simple (A0) est supérieure aux pipelines complexes.
  • Pour une cardinalité élevée d'abonnements, la sélection du modèle est plus critique que le réglage de la configuration.
  • Les pipelines de compression ne sont bénéfiques que dans des régimes de fenêtre de contexte contraints et sont conditionnés à la capacité du LLM à gérer des descriptions fusionnées et composées sans s'effondrer.
• Pont de Modalité : Le système comble avec succès le fossé de modalité (par exemple, des données de capteurs vers le langage naturel) où les filtres basés sur des plongements échouent par construction.

Les auteurs restent modestes concernant les travaux futurs, notant que l'évaluation actuelle est hors ligne, à courtier unique et à locataire unique. Ils reportent explicitement les problèmes d'opération en ligne, de fédération distribuée et d'extensions multimodales à de futures études. Ils reconnaissent également que les résultats des benchmarks peuvent être des bornes supérieures en raison d'une contamination potentielle des données (mémorisation de jeux de données publics par les LLM).