🤖 machine learning

PsiLogic: Chaos-Aware Active Cancellation for Adam with a Fair Cross-Domain Benchmark

Het artikel introduceert PsiLogic, een chaos-bewuste optimizer die Adam dynamisch aanvult met een actieve annuleringsterm om de vroege training te stabiliseren zonder handmatige warmup-schema's, waarbij statistisch significante prestatieverbeteringen ten opzichte van Adam, AdamW en Lion worden aangetoond over NLP- en vision-benchmarks in een rigoureuze, reproduceerbare cross-domein evaluatie.

Oorspronkelijke auteurs: Ali Sultonov

Gepubliceerd 2026-07-21

📖 6 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Ali Sultonov

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

De Grote Balansact van Lerende Machines

Stel je voor dat je een robot probeert te leren om katten te herkennen door het duizenden foto's te laten zien. Om dit te doen, gebruikt de robot een "brein" gemaakt van wiskunde, en het leert door telkens wanneer het een nieuwe foto ziet, minuscule aanpassingen te maken aan zijn interne instellingen. Dit proces wordt training genoemd, en het instrument dat bepaalt hoe groot of klein die aanpassingen moeten zijn, wordt een optimizer genoemd. Denk aan de optimizer als de leraar van de robot. Als de leraar te streng is, leert de robot langzaam; als de leraar te laks is, raakt de robot in de war en vergeet hij wat hij net heeft geleerd.

Jarenlang is de populairste leraar in de wereld van AI een methode geweest genaamd Adam. Het is als een zeer ervaren coach die weet hoe hij de stappen van de robot moet aanpassen op basis van hoe snel hij momenteel rent. Echter, er is een addertje onder het gras: deze coach gebruikt dezelfde regels of de robot nu net begint (waar alles chaotisch, rommelig en luidruchtig is) of of hij bijna klaar is (waar het rustig en stabiel is). In de echte wereld weten we dat het starten van een nieuwe taak meestal een chaotische bende is, terwijl het afronden ervan kalm is. De paper die je zometeen gaat lezen, stelt een simpele vraag: Wat als de leraar van onze robot de chaos kon voelen en daar zijn gedrag naar kon aanpassen? Dit is de kern van een nieuwe studie die een intelligentere manier verkent om AI-modellen te trainen, met als doel ze sneller en betrouwbaarder te laten leren zonder dat ze verdwalen in de ruis van het begin.

Maak kennis met PsiLogic: De Chaos-voelende Coach

De onderzoekers achter deze studie, onder leiding van onafhankelijk onderzoeker Ali Sultonov, hebben een nieuwe optimizer geïntroduceerd genaamd PsiLogic (of $\Psi$ Logic). Je kunt dit zien als een upgrade van de beroemde Adam-optimizer, maar dan met een speciale superkracht: een "chaosdetector".

Stel je voor dat je een auto bestuurt. Wanneer je de motor in de ochtend op een koude dag voor het eerst start, kan de auto sputteren, schudden en vreemde geluiden maken. Als je dan direct het gaspedaal vol indrukt, kun je de motor laten afslaan. Maar zodra de motor warm is en soepel loopt, kun je normaal rijden. Standaard optimizers zoals Adam behandelen de koude, sputterende motor op dezelfde manier als de soepele, warme motor — ze blijven gewoon gas geven. PsiLogic is echter als een slimme bestuurder die voelt dat de motor schudt. Wanneer de auto sputtert (de "chaotische" vroege fase van de training), laat PsiLogic het gas voorzichtig los en gebruikt het de remmen om te voorkomen dat de auto uit de controle raakt. Naarmitten de motor opwarmt en de rit soepel wordt (de "stabiele" fase nabij het einde), vervagen de remmen en rijdt de auto gewoon zoals hij normaal zou doen.

Hoe werkt het?
De paper legt uit dat tijdens de vroege stadia van de training de wiskunde achter het leren van de AI erg ruisachtig en onvoorspelbaar is. PsiLogic houdt het "volume" van deze ruis in de gaten. Het gebruikt twee verschillende "thermometers" (wiskundige gemiddelden) om te meten hoe wild de data is. Als de korte-termijn thermometer veel hoger uitslaat dan de lange-termijn thermometer, weet het systeem dat er chaos plaatsvindt. Het activeert dan een "cancellation term" — een chique manier om te zeggen dat het een dempende kracht toevoegt om de leerstappen te verkleinen. Dit gebeurt automatisch, zonder dat de menselijke trainer een timer of een schema hoeft in te stellen. Het is een impliciete warmup: het systeem weet zelf wanneer het voorzichtig moet zijn en wanneer het gedurfd mag zijn.

De Grote Test: FairBench
Om te zien of dit nieuwe idee daadwerkelijk werkt, hebben de onderzoekers niet alleen gegokt; ze bouwden een rigoureuze testomgeving die ze FairBench noemen. Ze wilden zeker weten dat ze niet aan het valsspelen waren door de ene optimizer een betere leersnelheid te geven dan de andere. Daarom gaven ze elke optimizer (Adam, AdamW, Lion en PsiLogic) exact hetzelfde startpunt en lieten ze hun eigen optimale snelheid vinden. Ze testten ze in vier verschillende "arena's" (taken):

NLP (Taal): Een model leren om het volgende woord in een verhaal te voorspellen.
ViT (Visie): Een model leren om afbeeldingen te herkennen.
ResNet (Visie): Een andere taak voor beeldherkenning.
Diffusion (Kunst): Een model leren om afbeeldingen te genereren vanuit ruis.

Ze voerden deze tests uit op een krachtige NVIDIA H100 computer en herhaalden elk experiment drie keer om er zeker van te zijn dat de resultaten niet louter op geluk berustten.

Wat hebben ze gevonden?
De resultaten waren zeer opwindend, maar de auteurs waren ook heel eerlijk over waar PsiLogic wel en niet uitblinkt.

De Overwinningen: In drie van de vier arena's kwam PsiLogic als winnaar uit de bus.
- Bij de Taal (NLP) taak behaalde het een "perplexity" (een score waarbij lager beter is) van 7,79, waarmee het AdamW met 8,17 versloeg. De onderzoekers zeggen dat dit verschil statistisch significant is, wat betekent dat het waarschijnlijk een echte verbetering is en geen toevalstreffer.
- Bij de ViT (Visie) taak bereikte PsiLogic een nauwkeurigheid van 0,244, wat aanzienlijk hoger is dan de 0,223 van AdamW.
- Bij de ResNet taak bereikte het een nauwkeurigheid van 0,222, wat beter is dan de standaard Adam-optimizer met 0,172.
De Gelijkspelen:
- In de Diffusion (afbeelding genereren) taak presteerde PsiLogic ongeveer hetzelfde als de standaardmethoden. Het verschil was zo klein dat het statistisch gezien een "gelijkspel" was.
- In de ResNet taak, wanneer specifiek vergeleken met AdamW, waren de resultaten een "numeriek gelijkspel" (0,222 versus 0,219) dat niet statistisch significant was.
Het Nadeel: Snelheid
De paper is zeer transparant over een nadeel. Hoewel PsiLogic in sommige gevallen beter leert, is het ook langzamer. Bij de ViT-taak duurde het 1,79 keer langer om een enkele stap te voltooien dan bij AdamW. De auteurs leggen uit dat dit niet komt omdat de wiskunde te moeilijk is, maar omdat hun huidige computercode nog niet perfect geoptimaliseerd is. Ze geloven dat deze snelheidsstraf in de toekomst kan worden opgelost door betere code te schrijven, maar voor nu is het een afweging: je krijgt misschien betere resultaten, maar het zal ook wat meer tijd kosten.

De Kern van het Verhaal
Deze paper suggereert dat door een "chaosdetector" toe te voegen aan onze AI-leraren, we hen kunnen helpen navigeren door de rommelige beginfase van het leren zonder dat ze in de war raken. PsiLogic beweert niet de perfecte oplossing te zijn voor elk probleem (het won bijvoorbeeld de wedstrijd in beeldgeneratie niet), maar het laat zien dat het gevoelig zijn voor de "stemming" van het leerproces kan leiden tot betere prestaties in taal- en beeldherkenningstaken. De onderzoekers hebben al hun code en data openbaar gemaakt, in een uitnodiging aan anderen om hun werk te controleren en te zien of zij tot dezelfde resultaten komen. Het is een veelbelovende stap richting AI die weet wanneer het voorzichtig moet zijn en wanneer het gedurfd mag zijn, simpelweg door te luisteren naar de ruis van het eigen leerproces.

Technische Samenvatting: PsiLogic – Chaos-bewuste Actieve Cancellatie voor Adam

1. Probleemstelling

Adaptieve optimizers zoals Adam en AdamW domineren de praktijk van deep learning, maar passen een statische update-regel toe ongeacht de trainingsfase. Ze slagen er niet in om onderscheid te maken tussen de chaotische vroege fase (gekenmerkt door grote, ruisige gradiënten) en de stabiele convergentiefase (kleine, stabiele gradiënten). Standaard Adam behandelt deze regimes met structureel vergelijkbare updates, wat potentieel kan leiden tot instabiliteit tijdens initialisatie of suboptimale demping nabij convergentie. Hoewel handmatige learning rate (LR) warmup een veelgebruikte heuristiek is, leunt dit op handmatig afgestelde schema's in plaats van de werkelijke staat van verwarring van het model.

2. Methodologie: PsiLogic

PsiLogic ( $\Psi$ Logic) wordt voorgesteld als een drop-in vervanging voor torch.optim.Adam. Het breidt de standaard Adam-update uit met een dynamische Actieve Cancellatie Term die wordt aangestuurd door een "chaos detector".

Kernmechanisme

De optimizer introduceert een scalaire chaos warmup gewicht ( $w_t$ ) en een chaos signaal ( $chaos_t$ ) die een verenigde vervalcoëfficiënt ( $\delta_t$ ) moduleren.

Chaos Detector:
- Berekent een geschaalde genormaliseerde gradiëntnorm: $g_{nt} = \|g_t\|_2 / \sqrt{\text{numel}}$ .
- Onderhoudt twee Exponential Moving Averages (EMA's):
  - fast: Korte horizon (~10 stappen, $\alpha=0.1$ ).
  - slow: Lange horizon (~100 stappen, $\alpha=0.01$ ).
- Berekent een ratio $r_t = \text{fast}_t / (\text{slow}_t + \epsilon)$ .
- Het chaos signaal wordt gedefinieerd als:
  $chaos_t = \tanh(\text{slow}_t) \cdot (1 + 0.5 \cdot \tanh(\text{relu}(r_t - 1)))$
- Logica: Wanneer fast aanzienlijk groter is dan slow (wat duidt op een piek in gradiëntvolatiliteit), wordt het signaal geactiveerd. Naarmate de training stabiliseert ( $\text{slow}_t \to 0$ ), verdwijnt het signaal.
Verenigde Decay & Update Regel:
In plaats van weight decay en cancellatie apart toe te passen, berekent PsiLogic een enkele gecombineerde vervalcoëfficiënt $\delta_t$ om overmatige demping van cross-termen te voorkomen:
$\delta_t = \eta\lambda + w_t \cdot \min(\tilde{c}_t, c_{max})$
Waarbij $\tilde{c}_t$ de ruwe cancellatie fractie is gebaseerd op het chaos signaal, groepsspecifieke amplificatiefactoren ( $P_k$ ), en een gain parameter ( $\gamma$ ). $c_{max}$ begrenst de krimp tijdens volatiele initialisatie.

De parameter update wordt:
$\theta_{t+1} = \theta_t \cdot (1 - \delta_t) - \eta \cdot \frac{\hat{m}_t}{\sqrt{\hat{v}_t} + \epsilon}$
Deze structuur biedt impliciete warmup: demping is sterk wanneer gradiënten onstabiel zijn en vervaagt automatisch naarmate het model convergeert, zonder een extern schema.
Optionele Functies:
- Gradient Centralization (GC) & Adaptive Gradient Clipping (AGC): Geïntegreerd om stabiliteit verder te verbeteren.
- Quantum Decay: Een optionele, gradiënt-afhankelijke regularisatieterm die alleen actief is wanneer de chaos gate uit staat ( $s_t=0$ ).

3. Belangrijkste Bijdragen

Het paper schetst drie primaire bijdragen:

PsiLogic Optimizer: Een chaos-gestuurde Actieve Cancellatie mechanisme gebouwd op Adam, met verenigde decay, optionele GC/AGC, en adaptieve groepsspecifieke amplificatie.
FairBench: Een reproduceerbaar, bias-gemitigeerd evaluatieprotocol. In tegenstelling tot eerdere vergelijkingen die vaak een gedeelde learning rate gebruiken, voert FairBench per-optimizer learning rate sweeps uit (7 log-gespaceerde rates) en gebruikt identieke initialisatie per seed om een eerlijke vergelijking te garanderen. Het maakt gebruik van Welch t-tests voor statistische significantie.
Referentie Benchmark: Een uitgebreide evaluatie op een NVIDIA H100 80GB over vier domeinen (NLP, ViT, ResNet, Diffusion) met volledige open-source release van code, ruwe CSV's en learning curves.

4. Experimentele Resultaten

Geëvalueerd over 3 seeds met 2000 stappen per arena (bf16 AMP, batch 64):

NLP (TinyStories): PsiLogic bereikte een perplexiteit van 7.79 ± 0.18, wat AdamW (8.17 ± 0.08, $p=0.049$ ) significant verslaat.
ViT (CIFAR-100): PsiLogic bereikte 0.244 ± 0.006 top-1 accuratesse, significant beter dan AdamW (0.223 ± 0.002, $p=0.015$ ).
ResNet (Tiny ImageNet): PsiLogic bereikte 0.222 ± 0.001, een numerieke verbetering ten opzichte van AdamW (0.219 ± 0.005) maar niet statistisch significant ( $p=0.44$ ). Het presteerde significant beter dan standaard Adam (0.172 ± 0.004, $p=0.001$ ).
Diffusion (CelebA 64²): Validatie MSE was statistisch gelijk aan Adam/AdamW ( $p=0.49$ ).
Overhead: De piek GPU-geheugen is vergelijkbaar. Echter, de wall-clock tijd overhead is 1.2–1.8× op transformer-zware taken (bijv. 1.79× op ViT). De auteurs schrijven dit toe aan implementatiebeperkingen (sequentiële PyTorch-operaties, gebrek aan gefuseerde CUDA-kernels) in plaats van theoretische kosten.

5. Betekenis en Claims

Het paper positioneert PsiLogic als een methode die impliciet zich aanpast aan trainingsstabiliteit zonder handmatige warmup schema's.

Impliciete Warmup: De chaos term fungeert als een dynamische demper, die destructieve updates tijdens de volatiele vroege fase onderdrukt en vervaagt naarmate het model stabiliseert.
Bescheiden Claims: De auteurs geven expliciet aan dat zij geen universele dominantie claimen. Zij rapporteren:
- Geen significante winst ten opzichte van AdamW op ResNet of Diffusion taken.
- Significante staptijd overhead in de huidige implementatie.
- Beperkingen met betrekking tot het kleine aantal seeds (3) en de korte trainingsbudget (2000 stappen), waarbij zij opmerken dat de resultaten nog niet zijn gereproduceerd door externe groepen.
Reproduceerbaarheid: Het paper benadrukt transparantie door alle ruwe data vrij te geven en negatieve of niet-significante resultaten toe te geven, met als doel een standaard te zetten voor eerlijke optimizer evaluatie via FairBench.

Concluderend demonstreert PsiLogic dat een chaos-bewuste dempingsterm de convergentie en stabiliteit in specifieke domeinen (NLP, ViT) kan verbeteren door de effectieve stapgrootte dynamisch aan te passen op basis van gradiëntvolatiliteit, wat een complementaire aanpak biedt voor bestaande parameter-vrije of hypergradient methoden.