🤖 machine learning

Rethinking Bregman Divergences in Kronecker-Factored Optimizers

Dit artikel analyseert hoe verschillende Bregman-divergenties de fouten in de Kronecker-benadering over het covariantienspectrum verdelen, waarbij wordt onthuld dat de bovenste eigenruimtes betrouwbaar zijn terwijl de staart ruis bevat, wat een nieuwe substraatbewuste optimizer motiveert die eigenwaardegestuurde preconditioning combineert met adaptieve isotrope acceleratie.

Oorspronkelijke auteurs: Bing Liu, Wenjie Zhou, Chengcheng Zhao

Gepubliceerd 2026-06-02

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Bing Liu, Wenjie Zhou, Chengcheng Zhao

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Visie: Navigeren door een Mistige Berg

Stel je voor dat je probeert een enorme, zware robot (een AI-model) naar beneden te begeleiden op een berg om de laagste vallei (de beste prestatie) te vinden. De robot is te groot om met een rukje van richting te veranderen, dus hij heeft een kaart nodig die vertelt welke kant "naar beneden" is.

In de wereld van AI wordt deze kaart een preconditioner genoemd. Deze vertelt de robot hoe steil de grond is in elke richting, zodat hij de perfecte stapgrootte kan nemen.

Het probleem? De berg is enorm, en het is onmogelijk en te traag om een perfecte, gedetailleerde kaart van elke steen en elk kiezelsteentje te tekenen. Daarom gebruiken ingenieurs een kortere weg: ze benaderen de kaart met behulp van een "Kronecker-gefactureerde" structuur. Dit kun je zien als het proberen te beschrijven van een complex 3D-landschap door alleen naar twee afzonderlijke 2D-doorsneden te kijken (zoals het kijken naar een schaduw van de zijkant en een schaduw van de voorkant) en deze vervolgens te combineren.

Het Probleem: De "Schaduw" is niet Perfect

De auteurs wijzen op een fundamentele fout in deze kortere weg: de schaduw komt nooit perfect overeen met het echte object.

Omdat de echte berg (de data) complex is, kun je de werkelijkheid nooit perfect reconstrueren vanuit slechts twee 2D-doorsneden. Er zal altijd "benaderingsfout" zijn — delen van de kaart die net niet kloppen.

Lange tijd dachten onderzoekers dat al deze shortcut-methoden in essentie hetzelfde waren, waarbij ze alleen net iets andere wiskundige formules gebruikten (genaamd Bregman Divergences) om te meten hoe "fout" de schaduw was. De paper stelt de vraag: Als we geen perfecte kaart kunnen krijgen, maakt het dan uit welke formule we gebruiken om de fout te meten?

De Ontdekking: Verschillende Formules, Verschillende Blinde Vlekken

De auteurs ontdekten dat het er inderdaad veel toe doet. Verschillende formules gaan op verschillende manieren om met de "fouten" in de kaart:

Frobenius (De "Grote Plaatjes" Fan): Deze formule geeft vooral aandacht aan de grote, duidelijke kenmerken van de berg (de grote pieken en diepe dalen). Het negeert de kleine kiezelsteentjes. Het is als een cartograaf die alleen de belangrijkste snelwegen tekent en de zijstraatjes negeert.
LogDet (De "Microscoop"): Deze formule is geobsedeerd door de kleine details. Het wordt erg gevoelig voor de kleine, ruisachtige onderdelen van de kaart. Het probeert elk klein kiezelsteentje te corrigeren, zelfs als dat steentje slechts een willekeurige rots is die niets zegt over de werkelijke vorm van de berg.
von Neumann (Het "Middenpad"): Deze zit ergens tussenin; het geeft aandacht aan de grote kenmerken, maar niet zo agressief als de eerste methode.

Het Belangrijke Inzicht: De auteurs ontdekten dat de "grote kenmerken" (het bovenste spectrum van de data) meestal goed overeenkomen met de ware vorm van de berg (de Hessiaan). Echter, de "kleine details" (het onderste spectrum) zijn vaak gewoon ruis — willekeurige statische elektriciteit die niet echt helpt bij het navigeren van de robot.

Als je de "Microscoop"-aanpak (LogDet) gebruikt, probeer je de robot te sturen op basis van willekeurige ruis, wat ervoor zorgt dat hij gaat wiebelen en langzamer beweegt. Als je de "Grote Plaatjes"-aanpak gebruikt, focus je op de betrouwbare delen.

De Oplossing: De "Subspace-Aware" Optimizer

In plaats van te proberen de hele kaart met één formule te corrigeren, stellen de auteurs een nieuwe strategie voor genaamd BregTop. Ze splitsen de kaart in twee zones:

De "Hoge Vertrouwenszone" (Bovenste Spectrum):
- Wat het is: De grote, duidelijke kenmerken van de berg.
- Strategie: Gebruik hier een precieze, op eigenwaarden gebaseerde kaart. Dit vertelt de robot precies hoe hij moet draaien en hoe snel hij moet gaan op basis van het echte terrein.
- Analogie: Dit is als het gebruiken van een GPS met hoogresolutie satellietbeelden voor de belangrijkste snelwegen.
De "Ruisige" Zone (Onderste Spectrum):
- Wat het is: De kleine, onbetrouwbare details die voornamelijk uit statische ruis bestaan.
- Strategie: Probeer deze details niet meer in kaart te brengen! Geef de robot in plaats daarvan gewoon een constante, gelijkmatige duw. Probeer niet om elk klein kiezelsteentje heen te sturen; blijf gewoon met een constante snelheid vooruit bewegen.
- Analogie: Dit is als rijden door een mistig veld waar je de grond niet kunt zien. In plaats van te proberen elke onzichtbare rots te ontwijken, rijd je gewoon met een veilige, constante snelheid rechtdoor.

De Resultaten

De auteurs hebben deze nieuwe "split-strategie" (BregTop) getest tegen de oude methoden (zoals de standaard Shampoo en varianten daarvan) tijdens het trainen van een taalmodel.

De Uitkomst: De nieuwe methode bereikte de doelprestatie sneller (in minder stappen) dan de andere methoden.
Waarom: Door te vertrouwen op de betrouwbare "grote plaatjes" en de ruisige "kleine details te negeren", verspilde de robot geen energie aan wiebelen. Hij bewoog efficiënter naar beneden op de berg.

Samenvatting

De paper beargumenteert dat wanneer we de complexe wereld van AI-data niet perfect in kaart kunnen brengen, we niet moeten proberen elke kleine fout te herstellen. In plaats daarvan moeten we:

Vertrouwen op de grote, duidelijke patronen.
Negeren de ruisige, onbetrouwbare details door ze simpel en uniform te behandelen.

Deze "weet wat hij moet vertrouwen en wat hij moet negeren"-aanpak leidt tot snellere en efficiëntere AI-training.

Technische Samenvatting: Het heroverwegen van Bregman-divergenties in Kronecker-gefactoreerde optimalisatie

Probleemstelling
Shampoo-stijl optimalisatie-algoritmen benaderen de gradiënt-covariantie-matrix $C = E[\text{vec}(G)\text{vec}(G)^\top]$ met behulp van een met een Kronecker-gefactoreerde structuur $L \otimes R$ om de computationele complexiteit te verminderen. Recent werk (Lin et al., 2026) heeft diverse Shampoo-varianten verenigd door ze te kaderen als minimalisatieproblemen van Bregman-matrixdivergenties tussen $C$ en $L \otimes R$ . Er blijft echter een kritieke kloof bestaan: voor generieke dichte covariantie-matrices is exacte Kronecker-factorisatie onmogelijk, wat betekent dat benaderingsfouten onvermijdelijk zijn. Het is onduidelijk hoe verschillende Bregman-divergenties deze fout over het covariantiespectrum verdelen en of de resulterende preconditioners alle delen van het spectrum evenzeer vertrouwen. Bovendien, aangezien de gradiënt-covariantie vaak aanzienlijk verschilt van de werkelijke Hessiaan, zijn niet alle spectrale componenten geschikt voor preconditioning. De centrale vraag die wordt behandeld is: Wanneer exacte Kronekker-matching onmogelijk is, welke delen van het covariantiespectrum moet een gestructureerde optimizer benaderen en vertrouwen?

Methodologie en Analyse
De auteurs benaderen dit probleem via twee belangrijke analytische lenzen: de spectrale geometrie van Bregman-benaderingen en de empirische betrouwbaarheid van covariantie-eigenspaces.

Spectrale Geometrie van Bregman-benadering:
Het artikel karakteriseert hoe Frobenius-, von Neumann- en LogDet-divergenties benaderingsfouten verschillend bestraffen. Door de divergentie te ontbinden in marginale spectrumtermen en een cross-spectrale koppelingsterm $g_F(\lambda_i, \omega_j)$ , tonen de auteurs aan:
- Frobenius-divergentie: De koppelingsterm $-\lambda_i \omega_j$ legt een bilaterale grootte-straf op, wat sterk de nadruk legt op het top-spectrum (grote eigenwaarden).
- von Neumann-divergentie: De term $-\lambda_i \log \omega_j$ behoudt een voorkeur voor het top-spectrum, maar dempt dit logaritmisch.
- LogDet-divergentie: De term $\lambda_i / \omega_j$ creëert een relatieve ratio-distorsie, waardoor de benadering zeer gevoelig wordt voor kleine eigenwaarden (het staart-spectrum).
Stelling 2 stelt vast dat stationaire punten van deze minimalisatieproblemen niet worden bepaald door de ruwe residu $(S^* - C)$ , maar door een divergentie-gewogen residu $\nabla^2 F(S^*)[S^* - C]$ . Bijgevolg stemmen de resulterende Kronecker-factoren af op de specifieke spectrale voorkeuren van de gekozen divergentie (bijv. LogDet-factoren zijn gevoeliger voor kleine eigenwaarden, terwijl Frobenius-factoren zich richten op dominante subruimten).
Spectrale Betrouwbaarheid van Covariantie Preconditioning:
De auteurs onderzoeken empirisch de uitlijning tussen de gradiënt-covariantie en de Hessiaanse eigenspaces op een Transformer-model getraind op SST-2. De resultaten (Tabel 3) wijzen uit dat de top-covariantie-eigenspace aanzienlijk beter is uitgelijnd met de Hessiaan dan de componenten met lagere eigenwaarden. Het staart-spectrum wordt waargenomen als ruiziger en minder betrouwbaar voor preconditioning, wat consistent is met eerdere bevindingen (Kunstner et al., 2019; Thomas et al., 2020).
Voorgestelde Oplossing: Subspace-Aware Kronecker Optimizer (BregTop):
Gemotiveerd door de mismatch tussen divergentie-geïnduceerde spectrale voorkeuren en de werkelijke betrouwbaarheid van het spectrum, stellen de auteurs BregTop voor. Deze optimizer combineert de sterke punten van beide observaties:
- Het selecteert Kronecker-factoren met behulp van een top-gevoelige divergentie (bijv. von Neumann of Frobenius).
- Het past eigenwaarde-gebaseerde preconditioning alleen toe binnen de top-subruimte (de grootste $\lceil \rho mn \rceil$ entries van het gezamenlijke Kronecker-spectrum).
- Het behandelt de complementaire onderste subruimte met een adaptieve isotrope acceleratieconstante ( $\chi_{\rho, q}$ ), in plaats van te proberen de ruizige staart te preconditioneren met potentieel misleidende kromminginformatie.
Theoretisch deelt dit de preconditioner op in een door kromming geschaalde top-component en een uniforme acceleratiecomponent voor de onderste ruimte (Stelling 4).

Belangrijkste Bijdragen

Karakterisering van Spectrale Geometrie: Het artikel biedt een formele karakterisering van hoe Frobenius-, von Neumann- en LogDet-divergenties verschillende eigenwaarde-afhankelijke straffen induceren, waarbij wordt aangetoond dat stationaire Kronecker-factoren worden beheerst door divergentie-gewogen residuen in plaats van ruwe fouten.
Empirische Spectrale Betrouwbaarheid: Het werk demonstreert dat hoewel het volledige covariantiespectrum onbetrouwbaar is voor preconditioning, de top-eigenspace een sterke uitlijning met de Hessiaan behoudt, wat een subspace-bewuste aanpak rechtvaardigt.
Ontwerp van een Subspace-Aware Optimizer: De auteurs introduceren BregTop, een algoritme dat adaptief schakelt tussen eigenwaarde-gebaseerde schaling in de betrouwbare top-subruimte en isotrope acceleratie in de ruizige onderste subruimte.

Experimentele Resultaten
De auteurs hebben BregTop geëvalueerd tegen standaard Shampoo, KL-Shampoo, VN-Shampoo en F-Shampoo op een 4-laagse Transformer getraind op de volledige SST-2 dataset. De gebruikte metriek was het aantal stappen vereist om de EMA-gesmoothde trainingsverlies onder 0,05 te laten dalen.

BregTop-VN-v2 bereikte de doelverlies in 1003 stappen, waarmee het de standaard Shampoo (1119 stappen) en de baseline VN-Shampoo (1127 stappen) versloeg.
De BregTop-varianten verbeterden consequent hun respectievelijke divergentie-baselines (bijv. BregTop-VN verbeterde ten opzichte van VN-Shampoo; BregTop-F verbeterde ten opzichte van F-Shampoo), wat het voordeel van het isoleren van de top-subruimte voor preconditioning valideert.

Significantie en Claims
Het artikel claimt dat het ontwerp van gestructureerde optimizers rekening moet houden met de onvermijdelijke benaderingsfout in Kronecker-factorisatie en de variërende betrouwbaarheid van het covariantiespectrum. Door te erkennen dat verschillende Bregman-divergenties inherent verschillende spectrale regio's prioriteren, en dat alleen het top-spectrum betrouwbaar is uitgelijnd met de Hessiaan, biedt de voorgestelde subspace-bewuste aanpak een robuustere preconditioning-strategie. De auteurs merken op dat hun ontwerp consistent is met de trainingsdynamiek waargenomen in Song et al. (2025), waar leren plaatsvindt in de onderste subruimte; het toepassen van isotrope acceleratie daar behoudt dus de noodzakelijke gradiëntstroom terwijl het ruisige updates in richtingen met hoge kromming dempt via de top-subruimte preconditioning. De resultaten suggereren dat deze hybride aanpak de stap-efficiëntie verbetert zonder dat daarvoor volledige tweede-orde informatie nodig is.