Résumé Technique : Après l'autoroute euclidienne : L'IA experte hyperbolique comme prochaine innovation

1. Énoncé du problème

Le document identifie une limitation structurelle des modèles de langage actuels (LLM) : bien que l'architecture transformeur euclidienne ait réussi à passer à l'échelle pour la fluidité générale, elle se heurte à un « mur structurel » lorsqu'elle est appliquée à des tâches d'experts de domaine caractérisées par des connaissances hiérarchiques et arborescentes.

Les auteurs soutiennent que la géométrie euclidienne dilue les relations parent-enfant de manière exponentielle à mesure que la profondeur augmente, entraînant :

• Un échec des garanties d'interpolation en dehors de l'enveloppe convexe d'entraînement.
• La limitation des transformeurs de précision logarithmique à des circuits de seuil à profondeur constante.
• Une décroissance exponentielle de la précision compositionnelle avec la profondeur.

Les tentatives précédentes visant à résoudre cela en intégrant directement la géométrie hyperbolique dans le réseau (par exemple, HyperLoRA, où les adaptateurs résident sur la variété) ont réussi à l'échelle de petits benchmarks, mais échouent de manière catastrophique à l'échelle industrielle. Plus précisément, placer la courbure au sein des paramètres entraînables crée une instabilité de gradient couplée à la courbure. À grande échelle (par exemple, 18 millions d'échantillons), le Jacobien de la carte exponentielle amplifie les mises à jour de manière super-polynomiale, provoquant l'effondrement de l'entraînement en cascades NaN (Not a Number). Le problème central n'est pas de savoir si utiliser la géométrie hyperbolique, mais où la placer pour maintenir la stabilité tout en préservant les invariants structurels des domaines experts.

2. Méthodologie : HySAT (Entraînement Sensible à la Structure Hyperbolique)

Le document propose HySAT, une loi de placement qui découple la géométrie hyperbolique des paramètres entraînables du modèle.

Principe Fondamental : Placement uniquement au niveau de la perte

Au lieu d'intégrer la variété dans les poids de l'adaptateur ou dans le modèle de base, HySAT maintient tous les paramètres entraînables (le modèle de base et les adaptateurs LoRA) strictement euclidiens ($\mathbb{R}^d$). La géométrie hyperbolique (variété de Lorentz, $\mathbb{H}^d$) est introduite uniquement au niveau de la couche de perte.

• Mécanisme : Les états cachés $h$ produits par l'adaptateur euclidien sont projetés sur la variété de Lorentz via une application exponentielle $\pi(h) = \exp_0(h/\tau)$ uniquement lors du calcul des pertes structurelles.
• Flux de Gradient : Les gradients remontent à travers les poids de l'adaptateur euclidien. La courbure ne chevauche pas le gradient ; elle influence seulement la valeur de la perte.
• Stabilisation : Un clamp est appliqué à l'entrée de l'application exponentielle ($\|v\| \le 2$) pour borner le Jacobien de la projection, garantissant que le signal de gradient reste borné et empêchant l'« amplification du Jacobien » qui cause les NaN dans les approches d'adaptateurs sur variété.

Pertes Structurelles

HySAT utilise trois pertes structurelles dérivées d'ontologies de domaine (structures d'arbres) :

1. PTLE (Embedding Lorentz d'Arbre par Paire) : Minimise la distance entre les états cachés des nœuds possédant des chemins d'arbre annotés.
2. HLSD (Distance de Sibling de Label Hiérarchique) : Minimise la distance de Lorentz entre les états cachés de nœuds frères (siblings).
3. HWC (Contraste Pondéré par la Hiérarchie) : Une perte contrastive unifiée pondérant les paires par leur profondeur d'ancêtre commune.

Fondement Théorique

Le document fournit la Proposition 1, prouvant que :

• HySAT (Placement uniquement dans la perte) : La norme de Frobenius attendue des poids de l'adaptateur est bornée de la même manière qu'un LoRA euclidien standard, indépendamment de la courbure.
• HyperLoRA (Adaptateur sur Variété) : Sans optimiseurs sensibles à la courbure ou contraintes de norme explicites, le gradient hérite du facteur Jacobien non borné $\sinh(\|B \cdot x\|)/\|B \cdot x\|$, menant à la divergence à la limite d'instabilité pratique de la précision bf16 ($\|v\| \approx 11$).

3. Principales Contributions

A. La Loi de Placement

La principale contribution est l'identification du placement comme la variable décisive pour la stabilité. Le document démontre que le placement uniquement dans la perte est la configuration unique permettant une supervision hyperbolique dans des modèles de 7 à 8 milliards de paramètres sans nécessiter d'optimiseurs sensibles à la courbure ou d'étapes de rétraction.

B. Échelle et Étendue Empiriques

Les auteurs ont construit et déployé six petits modèles de langage experts (SLM) à travers quatre stratégies d'adaptateurs et deux familles de modèles de base (Llama 3.1 8B et EXAONE 3.5 7.8B) :

1. BS Sovereign : Audit comportemental (146M de paramètres, construit de zéro en hyperbolique).
2. S3 Creative : Idéation créative (T5-3B, fine-tuning complet).
3. ORAA : Recherche académique (Llama 3.1 8B, Standard-LoRA).
4. CEO Finance v2 : Finance d'entreprise (EXAONE 3.5 7.8B, Standard-LoRA).
5. MetaTeach : Pédagogie (EXAONE 3.5 7.8B, HyperLoRA avec stabilisation).
6. AdmitBrain v6 : Conseil en admission (Llama 3.1 8B, HyperLoRA avec stabilisation).

Réussite d'Échelle : Le corpus d'entraînement cumulé est de 17 954 911 échantillons, représentant un bond d'échelle de 1 139× par rapport au plus grand benchmark de fine-tuning hyperbolique précédemment rapporté (HypLoRA Math-10K). Notamment, le projet unique ORAA a utilisé 11,4M d'échantillons.

C. Stabilité Zéro-NaN

Sur environ 317 000 étapes d'optimiseur à travers six cycles d'entraînement complets, les configurations HySAT ont atteint zéro événement NaN. En revanche, les tentatives antérieures utilisant un placement d'adaptateur sur variété (HyperLoRA) ont entraîné 17 plantages documentés (~220 heures-GPU de calcul) dus à l'instabilité décrite dans la Proposition 1(ii).

D. La Taille de Batch comme Variable Structurelle

Le document identifie la taille de batch non pas simplement comme une variable de débit, mais comme une variable de qualité d'apprentissage structurel.

• Échec Silencieux : À de petites tailles de batch (ex: $b=2$), la probabilité d'échantillonner des paires de frères (requis pour la perte HLSD) est proche de zéro, ce qui fait que le signal structurel est absent malgré l'activation de la fonction de perte.
• Seuil : Un « seuil de formation de paires » existe (ex: $b \ge 8$ pour ORAA, $b \ge 16$ pour AdmitBrain). En dessous, le modèle s'entraîne mais échoue à apprendre la hiérarchie ; au-dessus, les taux d'activation atteignent 100 %.

4. Résultats

• Stabilité : Les six modèles basés sur HySAT se sont entraînés jusqu'à la convergence avec 0 événement NaN. Les deux modèles HyperLoRA (MetaTeach, AdmitBrain) n'ont été stabilisés qu'après l'application de conditions spécifiques (ex: augmentation de la taille de batch à 16, utilisation de l'échafaudage HWC) satisfaisant les critères de stabilité de la Proposition 1(ii).
• Performance :
  • ORAA : A obtenu 9 victoires sur 10 aux benchmarks avec une latence de 4,8s.
  • CEO Finance v2 : A obtenu 30 victoires sur 30 contre GPT-4o dans un ensemble de triple coaching.
  • AdmitBrain v6 : Déployé en direct dans un flux de travail d'admission contrôlé.
• Préservation de la Variété : La contrainte de Lorentz $\langle x, x \rangle_L = -1$ a été préservée avec une dérive de seulement $10^{-6}$ sur tous les cycles, comparé à une dérive de $10^4$ pour les contrôles euclidiens plats.
• Déploiement : Quatre modèles sont opérationnellement déployés (un en direct, trois sous accès restreint), et deux (BS Sovereign, S3 Creative) sont publiés en poids ouverts sur HuggingFace.

5. Signification et Revendications

Le document propose une loi de placement pour l'IA de domaine expert, affirmant que l'« autoroute euclidienne » peut être étendue aux domaines hiérarchiques sans reconstruire l'architecture du réseau.

• Premières Structurelles : Les auteurs affirment qu'il s'agit du premier rapport de fine-tuning hyperbolique stable à l'échelle de 7-8 milliards de paramètres avec un corpus de 18 millions d'échantillons.
• Changement de Paradigme : Cela remet en question la trajectoire prédominante consistant à « pousser la géométrie plus profondément » dans les couches du réseau. Au lieu de cela, ils soutiennent que pour le fine-tuning, l'approche la plus efficace et la plus stable consiste à garder le substrat euclidien et à injecter la structure hyperbolique uniquement via le signal de perte.
• Gouvernance et Transparence : Ce travail répond au « fossé de gouvernance » des modèles de fondation en fournissant une méthode pour injecter des connaissances d'arbres de domaine sans transformations architecturales opaques. Les auteurs insistent sur la transparence, publiant les traces par étape, le registre d'échec des 17 plantages et les scripts de reproduction des plantages sur Zenodo (CC-BY-4.0).

Le document conclut que le choix de l'endroit où la courbure touche le gradient est un choix de conception crucial qui sépare l'entraînement stable de la divergence aux échelles de domaines experts, permettant la construction de systèmes d'IA spécialisés et hiérarchiques qui étaient auparavant instables.