💬 NLP

ACAR: Adaptive Complexity Routing for Multi-Model Ensembles with Auditable Decision Traces

Ce papier présente ACAR, un cadre de routage adaptatif basé sur la variance de la cohérence interne qui améliore l'efficacité des ensembles de modèles tout en documentant des limites critiques, notamment l'échec du retrieval sans alignement sémantique et l'impossibilité de corriger les erreurs d'accord unanime entre modèles.

Auteurs originaux : Ramchand Kumaresan

Publié 2026-02-26

📖 5 min de lecture🧠 Analyse approfondie

CC BY 4.0

Auteurs originaux : Ramchand Kumaresan

Article original sous licence CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Ceci est une explication générée par l'IA de l'article ci-dessous. Elle n'a pas été rédigée ni approuvée par les auteurs. Pour une précision technique, consultez l'article original. Lire la clause de non-responsabilité complète

Imaginez que vous dirigez une grande entreprise de résolution de problèmes. Vous avez trois experts très différents : un mathématicien brillant mais lent, un généraliste rapide et un expert en code. Votre défi est de savoir qui engager pour chaque tâche, et combien d'experts faire travailler ensemble, sans gaspiller votre budget ni perdre de temps.

C'est exactement ce que propose le papier ACAR (Adaptive Complexity Routing). Voici une explication simple, avec des images pour mieux comprendre.

1. Le Problème : Trop cher ou pas assez bien ?

Habituellement, les entreprises font deux choses extrêmes :

L'option "Bon marché" : Elles utilisent toujours un seul expert (le moins cher). Risque : Si la tâche est difficile, l'expert se trompe.
L'option "Luxe" : Elles font travailler les trois experts sur chaque tâche, puis comparent leurs réponses. Risque : C'est extrêmement coûteux et lent, même pour des tâches simples comme "Quelle est la capitale de la France ?".

ACAR veut trouver le juste milieu : utiliser un seul expert quand c'est facile, et en appeler d'autres seulement quand c'est dur.

2. La Solution : Le "Test de Consistance" (Le Chef d'Orchestre)

Au lieu d'essayer de deviner la difficulté d'une tâche avec un algorithme complexe (qui pourrait se tromper), ACAR utilise une astuce simple appelée variance de la cohérence.

L'analogie du "Test de Réalité" :
Avant de faire travailler les trois experts, vous envoyez la question à un expert rapide (le "sondeur") trois fois de suite, comme si vous lui posiez la question trois fois à des moments différents.

Scénario A (Facile) : L'expert donne la même réponse trois fois.
- Conclusion : C'est une tâche facile.
- Action : Vous engagez un seul expert final. Économie d'argent !
Scénario B (Moyen) : L'expert donne deux réponses identiques et une différente.
- Conclusion : C'est un peu flou.
- Action : Vous engagez deux experts pour vérifier.
Scénario C (Difficile) : L'expert donne trois réponses différentes.
- Conclusion : C'est très difficile ou ambigu.
- Action : Vous engagez les trois experts pour qu'ils débattent et trouvent la meilleure réponse.

C'est comme si vous testiez la solidité d'un pont en y marchant trois fois. Si vous ne trébuchez pas, vous traversez seul. Si vous trébuchez, vous appelez une équipe de secours.

3. Les Résultats : Ce qui a fonctionné

Économie intelligente : Cette méthode a permis de faire travailler les trois experts ensemble sur seulement 46 % des tâches. Pour les 54 % restants, ils ont utilisé moins de ressources, tout en obtenant de meilleurs résultats que la méthode "deux experts systématiques".
Transparence totale : Le système garde une trace écrite de chaque décision (pourquoi a-t-on choisi tel expert ?). C'est comme avoir un journal de bord inaltérable, ce qui est crucial pour la confiance.

4. Les Pièges : Ce qui a échoué (et c'est très important !)

Le papier est honnête et raconte aussi ce qui ne marche pas, ce qui est rare et précieux :

Le piège de la "Mémoire" (Retrieval) :
- L'idée : "Si on a déjà résolu un problème similaire, on va montrer l'exemple à l'expert pour l'aider."
- La réalité : Ça a empiré les choses. Pourquoi ? Parce que l'ordinateur trouvait des exemples qui ressemblaient un peu, mais qui n'étaient pas vraiment liés.
- L'analogie : C'est comme si vous demandiez à un cuisinier de faire un gâteau au chocolat, et qu'on lui donnait la recette d'un gâteau aux carottes parce que les deux contiennent du sucre. Cela ne l'aide pas, ça le perturbe. Il faut des exemples parfaitement similaires, pas juste "un peu proches".
Le piège de l'Accord Faux :
- Le problème : Si les trois experts sont d'accord pour dire une fausse réponse, le système ACAR pense que c'est facile et ne fait rien pour corriger.
- L'analogie : Si trois amis vous disent tous que "2 + 2 = 5", vous allez probablement croire que c'est vrai, même si c'est faux. Le système ne peut pas corriger une erreur si tout le monde est d'accord pour se tromper. C'est une limite fondamentale.
Le piège de la "Culpabilité" (Attribution) :
- Essayer de deviner quel expert a eu la meilleure idée en regardant juste leurs réponses finales ne fonctionne pas. Pour savoir vraiment qui a contribué à quoi, il faut refaire l'expérience en enlevant un expert à la fois (ce qui coûte cher).

En Résumé

Ce papier nous dit : "Ne devinez pas la difficulté, testez-la."

En utilisant un petit test rapide (3 questions à un expert rapide) pour décider si une tâche est facile ou dure, on peut économiser beaucoup d'argent tout en restant précis. Mais attention :

Ne donnez pas n'importe quel exemple passé à vos experts (cela les embrouille).
Si tout le monde est d'accord pour se tromper, personne ne peut vous sauver.
La transparence (savoir pourquoi on a pris telle décision) est aussi importante que le résultat final.

C'est une approche pragmatique, sans magie, qui privilégie la logique et la traçabilité plutôt que des algorithmes complexes qui fonctionnent parfois par hasard.

Titre : ACAR : Routage Adaptatif de Complexité pour les Ensembles Multi-Modèles avec Traces de Décision Auditables

Auteur : Ramchand Kumaresan

1. Problématique et Motivation

Le déploiement efficace des grands modèles de langage (LLM) se heurte à un compromis fondamental entre qualité et coût.

Le dilemme : Un modèle unique est peu coûteux mais peut échouer sur des tâches complexes, tandis que l'exécution parallèle de plusieurs modèles (ensembling) améliore la fiabilité mais multiplie les coûts d'inférence.
Le défi : Il est difficile d'allouer la puissance de calcul de manière optimale avant de connaître la difficulté réelle d'une tâche.
Limites des solutions existantes :
- Les routeurs appris (classificateurs entraînés) souffrent de décalages de distribution (training vs déploiement) et manquent de traçabilité décisionnelle.
- Les plateformes d'observabilité permettent le débogage a posteriori mais n'influencent pas le routage en temps réel.
- Aucune approche actuelle ne combine simultanément un routage conscient du coût, une attribution mesurable et une reproductibilité déterministe rigoureuse.

2. Méthodologie : ACAR et TEAMLLM

L'auteur propose ACAR (Adaptive Complexity & Attribution Routing), un cadre de mesure basé sur l'estimation de la difficulté via la variance de la self-consistency ( $\sigma$ ), couplé à une infrastructure d'exécution appelée TEAMLLM.

A. Infrastructure TEAMLLM

Pour garantir la rigueur scientifique, TEAMLLM impose trois invariants :

Exécution déterministe : Chaque exécution capture la graine aléatoire, le hachage du prompt, l'identifiant du modèle et l'empreinte de l'environnement.
Artifacts immuables : Toutes les réponses et traces de décision sont stockées en mode "append-only" (ajout uniquement), empêchant toute modification rétroactive.
Machine à états unidirectionnelle : Le statut d'une tâche progresse de manière irréversible (PENDING → EXECUTING → VERIFYING → COMPLETED).

B. Algorithme de Routage ACAR

Le mécanisme utilise un modèle rapide (sonde, ici Gemini 2.0 Flash) pour estimer la difficulté d'une tâche $T$ avant d'engager les modèles coûteux.

Phase d'estimation : Le modèle sonde génère $N=3$ échantillons pour la même tâche.
Calcul de la variance ( $\sigma$ ) :
- $\sigma = 0.0$ : Les 3 réponses sont identiques (consensus).
- $\sigma = 0.5$ : 2 réponses sur 3 sont identiques (accord partiel).
- $\sigma = 1.0$ : Les 3 réponses sont différentes (désaccord total).
Routage adaptatif :
- Si $\sigma = 0.0$ : Mode Single-Agent (une seule réponse suffit).
- Si $\sigma = 0.5$ : Mode Arena-Lite (vote majoritaire + vérification par 2 modèles).
- Si $\sigma = 1.0$ : Mode Full-Arena (exécution par les 3 modèles + sélection par un juge).

Choix de conception : L'utilisation d'un signal heuristique discret ( $\sigma$ ) plutôt qu'un routeur appris permet d'éviter le surapprentissage aux benchmarks spécifiques et garantit des traces de décision entièrement interprétables.

3. Configuration Expérimentale

Données : 1 510 tâches réparties sur 4 benchmarks :
- MathArena (Mathématiques, difficulté élevée).
- Reasoning Gym (Raisonnement procédural).
- LiveCodeBench (Génération de code avec vérification par exécution).
- SuperGPQA (Questions de connaissances multiples).
Modèles : Claude Sonnet 4, GPT-4o, Gemini 2.0 Flash (utilisé comme sonde).
Comparaisons : Modèle unique, Ensembles à 2 modèles, Ensemble à 3 modèles, ACAR (sans et avec augmentation par récupération).
Volume : Plus de 7 550 exécutions auditées.

4. Résultats Clés

A. Performance et Coût

Précision : ACAR (sans récupération) atteint 55,6 % de précision, surpassant l'ensemble à 2 modèles (54,4 %) et le modèle unique (45,4 %).
Économie : ACAR évite l'ensemble complet (coûteux) sur 54,2 % des tâches, réduisant le coût global de 1,5 % par rapport à l'ensemble à 2 modèles, tout en étant moins cher que l'ensemble à 3 modèles.
Pareto : ACAR se situe sur la frontière de Pareto optimale, offrant un meilleur ratio coût/précision que les stratégies statiques.

B. Comportement de Routage

La distribution de $\sigma$ est bimodale :

32,9 % des tâches montrent un accord total ( $\sigma=0$ ) et sont routées vers un modèle unique.
45,8 % montrent un désaccord total ( $\sigma=1$ ) et nécessitent l'ensemble complet.
Le routage s'adapte dynamiquement : SuperGPQA (tâches faciles) est majoritairement routé vers un seul modèle, tandis que LiveCodeBench (code) escalade presque systématiquement vers l'ensemble complet.

5. Résultats Négatifs et Échecs Systématiques

Le papier met en lumière trois hypothèses qui échouent en pratique, fournissant des limites importantes pour la recherche future :

L'augmentation par récupération (Retrieval) nuit à la performance :
- L'ajout d'exemples passés similaires (ACAR-UJ) a réduit la précision de 3,4 points de pourcentage.
- Cause : La similarité sémantique médiane des exemples récupérés était très faible (0,167). Injecter du contexte non aligné sémantiquement introduit du bruit plutôt que de l'ancrage.
- Conclusion : Des seuils de similarité stricts (>0,7) sont nécessaires pour que la récupération soit utile.
Le mode d'échec « Accord mais Faux » (Agreement-but-Wrong) :
- Lorsque les modèles sondent s'accordent sur une réponse incorrecte ( $\sigma=0$ ), le système routage vers un modèle unique et ne peut pas récupérer l'erreur.
- Cela crée un plafond de performance intrinsèque : ACAR reste en moyenne 8 points de pourcentage en dessous de l'ensemble complet (63,6 %) car il ne peut pas corriger les erreurs unanimes.
L'attribution par signaux proxy est inefficace :
- Les tentatives d'estimer la contribution de chaque modèle via des signaux indirects (similarité de réponse, entropie) n'ont montré qu'une faible corrélation avec les valeurs de vérité terrain (calculées par des runs contrefactuels).
- Conclusion : Une attribution précise nécessite des calculs contrefactuels explicites, coûteux en ressources.

6. Contributions et Signification

Méthodologique : ACAR propose un cadre de mesure rigoureux qui privilégie l'auditabilité et la reproductibilité à l'optimisation aveugle des métriques.
Pratique : Il démontre qu'un routage heuristique simple (basé sur la variance) peut surpasser des ensembles statiques tout en réduisant les coûts.
Scientifique : Le papier fournit des baselines falsifiables et documente explicitement ce qui ne fonctionne pas (récupération naïve, attribution par proxy, limites de la self-consistency).
Ressources : L'auteur libère TEAMLLM et l'ensemble des 7 550+ exécutions, permettant à la communauté de régénérer toutes les figures et de vérifier les résultats indépendamment.

En résumé, ce travail démontre que l'allocation adaptative des ressources est viable et économiquement avantageuse, mais qu'elle est limitée par la nature intrinsèque des erreurs de consensus et par la difficulté d'intégrer correctement des connaissances externes sans alignement sémantique strict.