Technische Samenvatting: Na de Euclidische Snelweg: Hyperbolische Expert AI als de Volgende Innovatie

1. Probleemstelling

Het paper identificeert een structurele beperking in huidige Large Language Models (LLMs): hoewel de Euclidische transformer-architectuur succesvol heeft geschaald voor algemene vloeiendheid, stuit het op een "structurele muur" wanneer het wordt toegepast op domeinexpert-taken die worden gekenmerkt door hiërarchische, boomstructuur-gebaseerde kennis.

De auteurs stellen dat Euclidische meetkunde de ouder-kind relaties exponentieel verzwakt naarmate de diepte toeneemt, wat leidt tot:

• Falen van interpolatie-gebaseerde garanties buiten de trainings-convex hull.
• Begrensdheid van log-precisie transformers tot constant-diepte threshold circuits.
• Exponentiële afname van compositionele nauwkeurigheid bij toenemende diepte.

Eerdere pogingen om dit aan te pakken door hyperbolische meetkunde direct in het netwerk te embedden (bijv. HyperLoRA, waarbij adapters op de manifold leven) slaagden op kleine benchmark-schalen, maar falen catastrofaal op industriële schaal. Specifiek creëert het plaatsen van kromming binnen de trainbare parameters een kromming-gekoppelde gradiënt-instabiliteit. Op schaal (bijv. 18 miljoen samples) versterkt de Jacobiaan van de exponentiële map de updates super-polynomiaal, wat leidt tot het instorten van de training naar NaN (Not a Number) cascades. Het kernprobleem is niet of men hyperbolische meetkunde moet gebruiken, maar waar men deze moet plaatsen om stabiliteit te behouden terwijl de boomstructuur-invarianten van expert-domeinen behouden blijven.

2. Methodologie: HySAT (Hyperbolic Structure-Aware Training)

Het paper stelt HySAT voor, een plaatsingswet die de hyperbolische meetkunde ontkoppelt van de trainbare parameters van het model.

Kernprincipe: Plaatsing enkel in de Loss

In plaats van de manifold in de adapter-gewichten of het basismodel te embedden, houdt HySAT alle trainbare parameters (het basismodel en de LoRA-adapters) strikt Euclidisch ($\mathbb{R}^d$). De hyperbolische meetkunde (Lorentz-manifold, $\mathbb{H}^d$) wordt alleen bij de loss-laag geïntroduceerd.

• Mechanisme: Verborgen toestanden (hidden states) $h$ geproduceerd door de Euclidische adapter worden geprojecteerd op de Lorentz-manifold via een exponentiële map $\pi(h) = \exp_0(h/\tau)$ alleen bij het berekenen van structurele losses.
• Gradiëntstroom: Gradiënten stromen terug door de Euclidische adapter-gewichten. De kromming rijdt niet mee met de gradiënt; het beïnvloedt alleen de loss-waarde.
• Stabilisatie: Een clamp wordt toegepast op de input van de exponentiële map ($\|v\| \le 2$) om de Jacobiaan van de projectie te begrenzen, wat ervoor zorgt dat het gradiëntsignaal begrensd blijft en de "Jacobiaan-versterking" die NaN's veroorzaakt in adapter-on-manifold benaderingen, wordt voorkomen.

Structurele Losses

HySAT maakt gebruik van drie structurele losses afgeleid van domein-ontologieën (boomstructuren):

1. PTLE (Pairwise Tree Lorentz Embedding): Minimaliseert de afstand tussen verborgen toestanden van knopen met geannoteerde boompaden.
2. HLSD (Hierarchical Label Sibling Distance): Minimaliseert de Lorentz-afstand tussen verborgen toestanden van sibling-knopen.
3. HWC (Hierarchy-Weighted Contrastive): Een verenigde contrastieve loss die paren weegt op basis van hun gedeelde voorouderlijke diepte.

Theoretische Fundering

Het paper biedt Propositie 1, waarin wordt bewezen dat:

• HySAT (Loss-Only): De verwachte Frobenius-norm van de adapter-gewichten identiek begrensd is als een standaard Euclidische LoRA, onafhankelijk van de kromming.
• HyperLoRA (Adapter-on-Manifold): Zonder kromming-bewuste optimizers of expliciete norm-restricties, erft de gradiënt de onbegrensde $\sinh(\|B \cdot x\|)/\|B \cdot x\|$ Jacobiaan-factor, wat leidt tot divergentie bij de praktische bf16 instabiliteitsgrens ($\|v\| \approx 11$).

3. Belangrijkste Bijdragen

A. De Plaatsingswet

De primaire bijdrage is de identificatie van plaatsing als de beslissende variabele voor stabiliteit. Het paper demonstreert dat loss-only plaatsing de unieke configuratie is die het mogelijk maakt om met 7–8B parameter modellen hyperbolische supervisie toe te passen zonder dat daar kromming-bewuste optimizers of retractie-stappen voor nodig zijn.

B. Empirische Schaal en Breedte

De auteurs hebben zes expert Small Language Models (SLMs) geconstrueerd en uitgerold over vier adapter-strategieën en twee basisfamilies (Llama 3.1 8B en EXAONE 3.5 7.8B):

1. BS Sovereign: Gedragsaudit (146M parameters, vanaf nul hyperbolisch getraind).
2. S3 Creative: Creatieve ideatie (T5-3B, full fine-tuning).
3. ORAA: Wetenschappelijk onderzoek (Llama 3.1 8B, Standaard-LoRA).
4. CEO Finance v2: Bedrijfscijfers (EXAONE 3.5 7.8B, Standaard-LoRA).
5. MetaTeach: Pedagogiek (EXAONE 3.5 7.8B, HyperLoRA met stabilisatie).
6. AdmitBrain v6: Toelatingsadvies (Llama 3.1 8B, HyperLoRA met stabilisatie).

Schaalprestatie: De cumulatieve trainingscorpus is 17.954.911 samples, wat een 1.139× schaalvergroting vertegenwoordigt ten opzichte van de grootste eerder gerapporteerde hyperbolische fine-tuning benchmark (HypLoRA Math-10K). Opvallend genoeg gebruikte het enkele project ORAA 11,4M samples.

C. Zero-NaN Stabiliteit

Over ongeveer 317.000 optimizer-stappen in zes volledige trainingsruns bereikten de HySAT-configuraties nul NaN-events. In contrast hiermee resulteerden eerdere pogingen met adapter-on-manifold plaatsing (HyperLoRA) in 17 gedocumenteerde crashes (~220 GPU-uren aan compute) door de beschreven instabiliteit in Propositie 1(ii).

D. Batch Size als Structurele Variabele

Het paper identificeert batch size niet louter als een doorvoervariabele, maar als een variabele voor de kwaliteit van structureel leren.

• Stille Fout: Bij kleine batch sizes (bijv. $b=2$) is de kans dat er sibling-paren worden gesampled (vereist voor de HLSD loss) bijna nul, waardoor het structurele signaal afwezig is ondanks dat de loss-functie actief is.
• Drempelwaarde: Er bestaat een "paar-vormingsdrempel" (bijv. $b \ge 8$ voor ORAA, $b \ge 16$ voor AdmitBrain). Daaronder traint het model wel, maar leert het de hiërarchie niet; daarboven bereiken de activatiepercentages 100%.

4. Resultaten

• Stabiliteit: Alle zes de HySAT-gebaseerde modellen trainden tot convergentie met 0 NaN-events. De twee HyperLoRA-modellen (MetaTeach, AdmitBrain) werden pas gestabiliseerd na het toepassen van specifieke condities (bijv. het verhogen van de batch size naar 16, het gebruik van HWC scaffolding) die voldeden aan de stabiliteitscriteria van Propositie 1(ii).
• Prestaties:
  • ORAA: Behaalde 9/10 benchmark-overwinningen met 4,8s latentie.
  • CEO Finance v2: Behaalde 30/30 overwinningen tegen GPT-4o in een triple-coach ensemble.
  • AdmitBrain v6: Is live ingezet in een gecontroleerde toelatingsworkflow.
• Manifold Preservatie: De Lorentz-restrictie $\langle x, x \rangle_L = -1$ werd behouden met een drift van slechts $10^{-6}$ in alle runs, vergeleken met een drift van $10^4$ in vlakke Euclidische controls.
• Deployment: Vier modellen zijn operationeel ingezet (één live, drie gated), en twee (BS Sovereign, S3 Creative) zijn als open weights vrijgegeven op HuggingFace.

5. Betekenis en Claims

Het paper claimt een plaatsingswet te bieden voor expert-domein AI, en betoogt dat de "Euclidische snelweg" kan worden uitgebreid naar hiërarchische domeinen zonder de netwerkarchitectuur te herbouwen.

• Structurele Eerste: De auteurs claimen dat dit de eerste rapportage is van stabiele hyperbolische fine-tuning op de 7–8B parameter schaal met een corpus van 18 miljoen samples.
• Paradigmaverschuiving: Het daagt de heersende trend uit om de geometrie steeds dieper in de lagen van het netwerk te "duwen". In plaats daarvan stellen ze dat voor fine-tuning de meest effectieve en stabiele aanpak is om het substraat Euclidisch te houden en de hyperbolische structuur alleen via het loss-signaal te injecteren.
• Governance en Transparantie: Het werk adresseert de "governance gap" in foundation models door een methode te bieden om domein-boomkennis te injecteren zonder opaak architecturale overhaals. De auteurs benadrukken transparantie door per stap traceerbare gegevens, een foutenregister van 17 crashes en crash-reproductie scripts op Zenodo (CC-BY-4.0) vrij te geven.

Het paper concludeert dat de keuze van waar de kromming de gradiënt raakt een fundamentele ontwerpkeuze is die het verschil maakt tussen stabiele training en divergentie bij expert-domein schalen, wat de constructie van gespecialiseerde, hiërarchische AI-systemen mogelijk maakt die voorheen onstabiel waren.