Disentangling Intrinsic Importance from Emergent Structure in Multi-Expert Orchestration

Résumé Technique : Dissocier l'Importance Intrinsèque de la Structure Émergente dans l'Orchestration Multi-Experts

Énoncé du Problème
Les systèmes multi-experts, où plusieurs modèles de langage (LLM) collaborent via un orchestrateur pour résoudre des tâches complexes, sont de plus en plus adoptés pour le raisonnement de haute performance. Cependant, les politiques d'orchestration qui régissent l'interaction, le séquençage et la sélection des experts restent largement opaques. Les cadres actuels traitent souvent le routage comme une boîte noire optimisée pour la performance, manquant d'outils pour distinguer l'importance relationnelle (la fréquence à laquelle un expert est sélectionné ou agit comme un pivot) de l'importance intrinsèque (la nécessité fonctionnelle des représentations internes d'un expert). Cette opacité rend difficile le diagnostic des modes de défaillance, tels qu'un routage fragile, la redondance ou la dépendance envers des experts fréquemment sélectionnés mais fonctionnellement marginaux.

Méthodologie : Le Cadre INFORM
Les auteurs introduisent INFORM, un cadre d'analyse d'interprétabilité qui traite l'orchestration comme un calcul explicite et analysable. INFORM ne modifie pas le protocole de collaboration mais sonde un orchestrateur appris ($O_\theta$) pour découpler trois dimensions clés : la structure d'interaction, l'ordre d'exécution et l'attribution fonctionnelle.

Le cadre opère sur un orchestrateur canonique gérant un consortium d'experts (gelés et ajustés par instruction) ($E = \{E_1, \dots, E_N\}$). L'orchestrateur utilise deux modules principaux :

1. Module d'Interaction : Calcule une matrice de transition conditionnelle $C(x)$ utilisant l'attention requête-clé et un a priori sémantique pour modéliser la compatibilité entre les experts.
2. Module de Sélection : Détermine la distribution de sélection marginale $s(x)$ en utilisant une astuce Gumbel-Softmax pour permettre un échantillonnage différentiable.

INFORM extrait des informations grâce à trois sondes spécifiques :

• Sonder la Structure d'Interaction : Analyse l'entropie et le rang de la matrice de transition $C(x)$ pour définir l'Importance Relationnelle ($u_j$), mesurée par la masse de routage entrante totale vers un expert. Cela identifie les pivots d'interaction.
• Sonder les Décisions de Séquençage : Analyse l'entropie de la distribution de sélection initiale $s(x)$ pour comprendre comment l'orchestrateur apprend à ordonner les experts, distinguant la compétence globale de la nécessité spécifique au contexte.
• Attribution Fonctionnelle via la Sensibilité du Gradient : Calcule l'Importance Intrinsèque ($I(E_i)$) en rétropropageant les décisions de sélection aux représentations des experts. Plus précisément, il calcule la norme du gradient du logarithme de la probabilité de l'expert sélectionné par rapport à la représentation encodée de l'expert ($\|\nabla_{h_i} \log P(E_i | x)\|^2$). Cela mesure la sensibilité de la décision de routage au contenu sémantique de l'expert, distinguant la sélection dépendante du contenu de la sélection heuristique.

Configuration Expérimentale
Les auteurs ont évalué INFORM sur un consortium homogène de dix experts ajustés par instruction (issus de LLaMA-3.1 8B, Qwen3 8B et DeepSeek-R1 8B) avec des variations contrôlées de la température de décodage pour induire une diversité comportementale. Un consortium hétérogène secondaire (allant de 1B à 7B de paramètres) a été utilisé pour tester la généralisabilité. Les expériences ont été menées sur GSM8K, HumanEval et MMLU. L'orchestrateur a été entraîné pour maximiser la performance des tâches et s'aligner sur un LLM oracle plus large (absent lors de l'inférence).

Résultats Clés et Conclusions

1. Divergence entre Importance Relationnelle et Intrinsèque : L'étude révèle un désalignement significatif entre la fréquence de routage et la nécessité fonctionnelle. Les experts fréquemment sélectionnés agissent souvent comme des « pivots d'interaction » avec une influence intrinsèque limitée, tandis que des experts peu routés peuvent être structurellement critiques. Par exemple, masquer l'expert le plus intrinsèquement important (via l'attribution de gradient) a induit une divergence KL de routage 5,5 fois supérieure sur MMLU par rapport au masquage de pairs fréquemment sélectionnés, confirmant que la masse de routage est un mauvais indicateur de la dépendance structurelle.
2. Émergence Asynchrone des Comportements d'Orchestration : La dynamique d'orchestration émerge de manière asynchrone. Le système établit d'abord « qui faire confiance » (centralisation de la masse de routage) avant de résoudre « avec quelle confiance router » (stabilisation de l'entropie de routage). De plus, l'ordre des experts reste structuré mais non déterministe, l'orchestrateur apprenant des contraintes souples plutôt que des séquences rigides.
3. Sensibilité Dépendante de la Tâche : Les études de perturbation de prompt montrent que la sensibilité de l'orchestrateur est spécifique à la tâche. Sur GSM8K, le système est hautement sensible à la suppression de jetons numériques ; sur HumanEval et MMLU, il est plus sensible au mélange de phrases et à la suppression d'indices de raisonnement.
4. Dynamiques Homogènes vs Hétérogènes : Dans le cadre homogène, le routage converge rapidement vers des modèles centralisés et confiants. Dans le cadre hétérogène (modèles de 1B à 7B), le routage est plus volatil et moins centralisé, l'attribution de gradient se répartissant sur un sous-ensemble plus large et plus diversifié de modèles, bien qu'un écart d'alignement persistant demeure là où les modèles fréquemment sélectionnés ne possèdent pas nécessairement l'influence de gradient la plus élevée.
5. Ablation et Comparaisons de Référence :
   • Ablations : Supprimer la structure relationnelle ou le score intrinsèque dégrade les performances, particulièrement sur les tâches hétérogènes comme MMLU. La configuration complète d'INFORM équilibre la stabilité structurelle et la précision sémantique.
   • Références : Comparé au cadre rigide et basé sur des rôles de MetaGPT, INFORM atteint une accélération d'environ 3,5× sur HumanEval avec un gain de performance de ~1,4 % en élaguant de manière adaptative les invocations d'experts inutiles.

Signification et Revendications
L'article affirme qu'INFORM fournit un outil pratique pour diagnostiquer les dépendances structurelles et les pivots d'interaction dans les systèmes multi-experts qui sont invisibles par les seules mesures de précision. En dissociant l'importance intrinsèque de la structure de routage émergente, le cadre expose :

• La Redondance : Les experts qui sont fréquemment routés mais fonctionnellement inutiles.
• La Fragilité : Les systèmes qui reposent sur des topologies d'interaction spécifiques qui s'effondrent lorsque des experts intrinsèques clés sont masqués.
• L'Efficacité : La capacité d'identifier des trajectoires fonctionnelles minimales pour la résolution de tâches, réduisant la charge de calcul par rapport aux protocoles rigides.

Les auteurs soulignent que leur approche capture la sensibilité computationnelle locale plutôt que d'établir un graphe causal formel. Par conséquent, bien que le cadre nécessite un accès "boîte blanche" aux représentations internes et aux gradients de l'orchestrateur, il permet aux experts constituants de rester des "boîtes noires". Ce travail positionne l'analyse pilotée par l'interprétabilité comme essentielle pour améliorer la fiabilité, l'efficacité et la sécurité des politiques d'orchestration apprises, au-delà de ce que les seules mesures de performance peuvent capturer.