Résumé Technique : Routage Séquentiel Bayésien Neuronal (NBSR)

1. Énoncé du Problème

Les architectures d'apprentissage profond standard reposent sur des calculs directs statiques et denses qui traitent simultanément toutes les caractéristiques d'entrée pour produire une distribution de probabilité monolithique. Bien qu'efficaces pour la précision sémantique, ces modèles souffrent de trois limitations critiques :

1. Manque de Plausibilité Cognitive : Ils échouent à modéliser la nature séquentielle et cumulative des preuves du processus décisionnel humain, où les hypothèses sont progressivement affinées plutôt que évaluées toutes à la fois.
2. Mauvaise Interprétabilité : La nature de « boîte noire » des réseaux denses obscurcit la manière dont les preuves sont acquises et comment l'incertitude évolue, rendant l'audit des décisions difficile.
3. Inefficacité et Surenchère de Confiance : Ils dépensent des ressources de calcul inutiles sur des entrées facilement classifiables et produisent souvent des prédictions trop confiantes sur des données hors distribution (OOD) en raison de l'absence de mécanismes natifs de quantification de l'incertitude.

Bien que les architectures de type Mélange d'Experts (MoE) introduisent un calcul conditionnel, elles reposent généralement sur un routage doux et continu qui ne maintient pas un état de croyance évoluant dans le temps, ni ne permettent l'accumulation séquentielle de preuves ou une sortie dynamique anticipée.

2. Méthodologie : Routage Séquentiel Bayésien Neuronal (NBSR)

Le NBSR est un cadre dynamique qui modélise l'inférence neuronale comme une traversal active et cumulative de preuves sur un graphe orienté acyclique hiérarchique (DAG). Il unifie l'exécution neuronale conditionnelle, l'incertitude évidentielle et la prise de décision séquentielle.

Architecture Principale

• Oracle de Connaissance Global : Contrairement aux réseaux feed-forward standards où les caractéristiques sont transformées et jetées couche par couche, le NBSR intègre l'entrée $x$ une seule fois dans un vecteur de caractéristiques dense $h_x$ utilisant un socle partagé. Ce vecteur agit comme un « Oracle de Connaissance » persistant diffusé à tous les nœuds du DAG, garantissant que chaque décision a accès à l'état contextuel complet.
• Le Graphe de Décision : Le modèle traverse un DAG où les nœuds représentent des états de décision. À chaque nœud $v_t$, un Réseau Routeur (MLP) sélectionne un chemin discret basé sur les caractéristiques globales $h_x$ et l'État de Croyance Bayésien actuel $\alpha_t$.
• Extraction de Preuves : Une fois un nœud sélectionné atteint, un Réseau Expert local interroge l'Oracle $h_x$ pour extraire un vecteur de preuves strictement positif $e_t$.
• Mise à Jour de la Croyance Bayésienne : L'état de croyance est mis à jour par une addition conjuguée exacte : $\alpha_{t+1} = \alpha_t + e_t$. Ici, $\alpha$ représente les paramètres de concentration d'une distribution de Dirichlet. Les vecteurs de preuves $e_t$ agissent comme des pseudo-comptages bayésiens, mettant à jour de manière déterministe l'état de Dirichlet. Ce processus impose mathématiquement l'« affinement » des frontières de décision à mesure que les preuves s'accumulent.

Mécanismes d'Entraînement et d'Inférence

• Routage Discret Différentiable : Pour permettre l'entraînement de bout en bout de la structure d'arbre discrète, le NBSR emploie la relaxation Gumbel-Softmax couplée à l'Estimateur Straight-Through (STE).
  • Passage Avant : Le routeur sélectionne un chemin dur et unique (argmax), assurant l'efficacité computationnelle en n'exécutant que les nœuds visités.
  • Passage Arrière : Les gradients circulent à travers l'approximation continue Gumbel-Softmax, permettant au routeur d'apprendre la sélection de chemin optimale sans le problème de disparition du gradient des opérations discrètes.
• Objectif d'Entraînement : La fonction de perte combine la Négative Log-Vraisemblance (NLL) de l'espérance finale de Dirichlet avec un terme de pénalité d'entropie ($\lambda \sum H(\alpha_t)$). Cela encourage le modèle non seulement à maximiser la précision, mais aussi à réduire l'incertitude (entropie) aussi rapidement que possible le long de la trajectoire.
• Stratégies d'Inférence :
  • Sortie Anticipée (Early Exiting) : Si l'entropie différentielle de l'état de croyance $H(\alpha_t)$ tombe en dessous d'un seuil $\eta$, la traversal s'arrête immédiatement, économisant des FLOPs de calcul.
  • Abstention Épistémique : Si la précision totale $\alpha_0$ reste faible (indiquant une forte incertitude) même après une traversal complète, le modèle s'abstient de prédire, fournissant un mécanisme de sécurité natif pour les entrées OOD.

3. Contributions Clés

1. Cadre de Routage Séquentiel Bayésien : Une formulation novatrice où les décisions de routage discrètes mettent à jour séquentiellement un état de croyance de Dirichlet par addition conjuguée exacte, imposant mathématiquement un affinement progressif des hypothèses.
2. Routage Dur de Bout en Bout : Adaptation de l'estimateur Gumbel-Softmax pour entraîner des arbres de décision hiérarchiques discrets, empêchant l'effondrement de la représentation tout en permettant une sortie anticipée dynamique basée sur l'entropie.
3. Garanties Théoriques : Preuves formelles démontrant que, sous une extraction de preuves strictement positive, la précision totale de Dirichlet augmente de manière monotone le long de toute trajectoire valide, et que la variance prédictive marginale est de manière correspondante bornée. Le cadre est montré pour récupérer la distribution conditionnelle optimale de Bayes sous des hypothèses de capacité idéalisées.
4. Inférence Interprétable et Sûre : Le cadre fournit des pistes d'audit causales et transparentes pour chaque décision. Il utilise la précision de Dirichlet native pour déclencher des abstentions de sécurité OOD, empêchant les hallucinations.
5. Extensions Rationnelles en Ressources : Extension réussie de la topologie DAG pour incorporer une mémoire temporelle (NBSR-Mem) pour le contrôle autonome et formulation comme une Machine d'État Autoregressive (AR-NBSR) pour la Conception Expérimentale Bayésienne Optimale consciente des coûts.

4. Résultats Expérimentaux

Le cadre a été évalué sur cinq domaines divers :

• Catégorisation Visuelle (CIFAR-10) : Le NBSR a atteint une précision maximale de 96,74 %, surpassant à la fois un ResNet-18 plat (96,60 %) et un MoE épars (96,43 %). Crucialement, il a atteint une Erreur d'Étalonnage Attendue (ECE) significativement plus faible de 0,015 par rapport aux bases (~0,027). Le modèle a démontré une sortie anticipée à 90 % à la profondeur 1 sans dégradation de précision, validant sa rationalité en ressources.
• Diagnostic Médical Structuré : Dans une tâche de tri clinique, le NBSR a égalé la précision diagnostique d'un MLP plat (97,62 %) tout en fournissant des attributions de caractéristiques dépendantes du chemin et spécifiques au patient. Il a réussi à réduire la profondeur d'inférence moyenne de 2,0 à 1,0 pour les cas sans ambiguïté, réduisant le temps d'inférence sans perte de performance.
• Modélisation du Langage : Sur une tâche contrôlée de désambiguïsation syntaxique-sémantique, le NBSR a préservé la capacité générative (Perplexité 13,81 contre 13,43 pour la base) tout en exposant des traces de routage transparentes (par exemple, distinguant les experts syntaxiques des experts sémantiques). Il a démontré la capacité à s'abstenir sur des invites OOD où les modèles softmax standards hallucinent.
• Contrôle Partiellement Observable (POMDP) : Dans une tâche de navigation avec amnésie spatiale, NBSR-Mem (incorporant une mémoire récurrente) a atteint un taux de réussite de 100 %, égalant la performance d'un CNN-GRU boîte noire. Contrairement à la base boîte noire, le NBSR-Mem a détecté avec succès les entrées OOD « Danger Extraterrestre » et a déclenché un arrêt sûr (taux d'abstention de 100 %) plutôt que de planter.
• Tri Clinique Actif (BOED) : La formulation AR-NBSR a agi comme un agent d'apprentissage actif, apprenant à sélectionner des tests diagnostiques pour maximiser le gain d'information par unité de coût. Elle a atteint une précision diagnostique maximale à un coût moyen significativement plus faible (~45-50 $) par rapport aux bases gourmandes (60-80 $), démontrant une planification non myope et rationnelle en ressources.

5. Signification et Revendications

L'article postule que le NBSR représente un changement fondamental par rapport à l'apprentissage profond statique et monolithique vers un paradigme d'acquisition de caractéristiques actif et séquentiel. Sa signification réside dans l'unification de trois concepts précédemment séparés :

1. Exécution Conditionnelle : Passage d'une moyenne parallèle douce à un routage dur dépendant du chemin.
2. Incertitude Évidentielle : Traitement de l'incertitude non pas comme un diagnostic auxiliaire, mais comme une variable d'état contrôlant activement le calcul (via la sortie anticipée et l'abstention).
3. Raisonnement Séquentiel : Modélisation de l'inférence comme une trajectoire de croyance causale vers l'avant où les états intermédiaires et les contributions des experts sont inspectables.

Les auteurs affirment que le NBSR fournit un cadre mathématiquement fondé pour une IA agentique interprétable, modulaire et rationnelle en ressources. En s'assurant que les experts sont interrogés de manière sélective plutôt que moyennés de manière douce, et que l'incertitude est intrinsèque à l'état, le cadre offre une voie vers des systèmes d'IA non seulement précis, mais aussi transparents, sûrs et computationnellement efficaces. L'article conclut que si le NBSR est actuellement validé sur des benchmarks spécifiques, son architecture soutient naturellement les extensions futures vers l'intégration neuro-symbolique, des topologies illimitées via des processus de Dirichlet, et l'acquisition dynamique de compétences.