Disentangling Intrinsic Importance from Emergent Structure in Multi-Expert Orchestration

Technische Samenvatting: Het ontrafelen van intrinsiek belang versus emergente structuur in multi-expert orchestratie

Probleemstelling
Multi-expert systemen, waarbij meerdere Large Language Models (LLMs) samenwerken via een orchestrator om complexe taken op te lossen, worden steeds vaker toegepast voor hoogwaardige redenering. De orchestratiebeleid die de interactie, sequentie en selectie van experts regelen, blijft echter grotendeels opaak. Huidige frameworks behandelen routing vaak als een black box die geoptimaliseerd wordt voor prestaties, zonder instrumenten om onderscheid te maken tussen relationeel belang (hoe vaak een expert wordt geselecteerd of fungeert als een hub) en intrinsiek belang (de functionele noodzaak van de interne representaties van een expert). Deze opaciteit maakt het moeilijk om foutmodi te diagnosticeren, zoals breekbare routing, redundantie of de afhankelijkheid van experts die weliswaar frequent worden geselecteerd, maar functioneel marginaal zijn.

Methodologie: Het INFORM-framework
De auteurs introduceren INFORM, een interpretatie-analyseframework dat orchestratie behandelt als een expliciete, analyseerbare berekening. INFORM wijzigt het samenwerkingsprotocol niet, maar onderzoekt een geleerd orchestrator ($O_\theta$) om drie dimensies te ontkoppelen: interactiestructuur, executievolgorde en functionele attributie.

Het framework werkt op een canonieke orchestrator die een consortium van bevroren, instructie-getunede experts ($E = \{E_1, \dots, E_N\}$) beheert. De orchestrator maakt gebruik van twee primaire modules:

1. Interactiemodule: Berekent een conditionele transitie-matrix $C(x)$ met behulp van query-key attention en een semantische prior om de compatibiliteit tussen experts te modelleren.
2. Selectiemodule: Bepaalt de marginale selectieverdeling $s(x)$ met behulp van een Gumbel-Softmax trick om differentiële sampling mogelijk te maken.

INFORM extraheert inzichten via drie specifieke probes:

• Onderzoek naar de interactiestructuur: Analyseert de entropie en rang van de transitie-matrix $C(x)$ om Relationeel Belang ($u_j$) te definiëren, gemeten als de totale inkomende routing-massa naar een expert. Dit identificeert interactie-hubs.
• Onderzoek naar sequencing-beslissingen: Analyseert de entropie van de initiële selectieverdeling $s(x)$ om te begrijpen hoe de orchestrator leert om experts te ordenen, waarbij onderscheid wordt gemaakt tussen globale competentie en context-specifieke noodzaak.
• Functionele Attributie via Gradiëntgevoeligheid: Berekent Intrinsiek Belang ($I(E_i)$) door selectiebeslissingen terug te propageren naar expert-representaties. Specifiek berekent het de gradiëntnorm van de log-waarschijnlijkheid van de geselecteerde expert ten opzichte van de gecodeerde representatie van de expert ($\|\nabla_{h_i} \log P(E_i | x)\|^2$). Dit meet hoe gevoelig de routing-beslissing is voor de semantische inhoud van een expert, waardoor onderscheid wordt gemaakt tussen content-afhankelijke selectie en heuristische selectie.

Experimentele Opzet
De auteurs evalueerden INFORM op een homogeen consortium van tien instructie-getunede experts (afkomstig van LLaMA-3.1 8B, Qwen3 8B en DeepSeek-R1 8B) met gecontroleerde variaties in decoding-temperatuur om gedragsdiversiteit op te wekken. Een secundair heterogeen consortium (variërend van 1B tot 7B parameters) werd gebruikt om de generaliseerbaarheid te testen. Experimenten werden uitgevoerd op GSM8K, HumanEval en MMLU. De orchestrator werd getraind om de taakprestaties te maximaliseren en af te stemmen op een grotere oracle LLM (die tijdens inferentie afwezig is).

Belangrijkste Resultaten en Bevindingen

1. Divergentie tussen Relationeel en Intrinsiek Belang: De studie onthult een significante mismatch tussen routing-frequentie en functionele noodzaak. Experts die frequent worden geselecteerd, fungeren vaak als "interactie-hubs" met beperkte intrinsieke invloed, terwijl dun gerouteerde experts structureel cruciaal kunnen zijn. Bijvoorbeeld: het maskeren van de meest intrinsiek belangrijke expert (via gradiënt-attributie) veroorzaakte een 5,5× hogere routing KL-divergentie op MMLU vergeleken met het maskeren van veel geselecteerde gelijken, wat bevestigt dat routing-massa een slechte proxy is voor structurele afhankelijkheid.
2. Asynchrone Emergentie van Orchestratiegedrag: Orchestratie-dynamiek ontstaat asynchroon. Het systeem vestigt eerst "wie te vertrouwen" (centralisatie van routing-massa) voordat het "hoe zelfverzekerd te routeren" oplost (stabilisatie van routing-entropie). Bovendien blijft de expert-volgorde gestructureerd maar niet-deterministisch, waarbij de orchestrator zachte restricties leert in plaats van rigide sequenties.
3. Taakafhankelijke Gevoeligheid: Studies naar prompt-perturbatie tonen aan dat de gevoeligheid van de orchestrator taakspecifiek is. Op GSM8K is het systeem zeer gevoelig voor het verwijderen van numerieke tokens; op HumanEval en MMLU is het gevoeliger voor het husselen van zinnen en het verwijderen van redeneer-aanwijzingen.
4. Homogene versus Heterogene Dynamiek: In de homogene setting convergeert routing snel naar zelfverzekerde, gecentraliseerde patronen. In de heterogene setting (1B–7B modellen) is routing volatieler en minder gecentraliseerd, waarbij gradiënt-attributie zich verspreidt over een bredere, diversere subset van modellen, hoewel een hardnekkige alignment-kloof blijft bestaan waarbij modellen die frequent worden geseleceerd, niet noodzakelijkerwijs de hoogste gradiënt-invloed bezitten.
5. Ablatie en Baseline Vergelijkingen:
   • Ablaties: Het verwijderen van de relationele structuur of de intrinsieke scoring verslechtert de prestaties, met name bij heterogene taken zoals MMLU. De volledige INFORM-opstelling balanceert structurele stabiliteit met semantische precisie.
   • Baselines: Vergeleken met het rigide, rolgebaseerde MetaGPT-framework, bereikt INFORM een ~3,5× versnelling op HumanEval met een ~1,4% prestatiewinst door overbodige expert-aanroepen adaptief te elimineren.

Betekenis en Claims
Het artikel claimt dat INFORM een praktisch instrument biedt voor het diagnosticeren van structurele afhankelijkheden en interactie-hubs in multi-expert systemen die onzichtbaar zijn voor enkel accuratiewaarden. Door intrinsiek belang te ontkoppelen van de emergente routing-structuur, legt het framework het volgende bloot:

• Redundantie: Experts die frequent worden gerouteerd maar functioneel onnodig zijn.
• Breekbaarheid: Systemen die afhankelijk zijn van specifieke interactie-topologieën die instorten wanneer cruciale intrinsieke experts worden gemaskeerd.
• Efficiëntie: Het vermogen om minimale functionele trajecten voor taakoplossing te identificeren, wat de computationele overhead vermindert vergeleken met rigide protocollen.

De auteurs benadrukken dat hun aanpak lokale computationele gevoeligheid vastlegt in plaats van een formele causale graaf vast te stellen. Bij consequent vereist het framework white-box toegang tot de interne representaties en gradiënten van de orchestrator, terwijl de constituerende experts black-box kunnen blijven. Het werk positioneert interpretatie-gestuurde analyse als essentieel voor het verbeteren van de betrouwbaarheid, efficiëntie en veiligheid van geleerde orchestratiebeleid verder dan wat prestatie-metrieken alleen kunnen vatten.