The Loss Floor of Denoising Score Matching: Fisher Geometry from Schrödinger Bridges

In de afgelopen jaren is er een nieuw soort kunstmatige intelligentie opgekomen dat in staat is om verbluffend realistische afbeeldingen, video's en geluiden te creëren vanuit eenvoudige tekstbeschrijvingen. Deze systemen, bekend als diffusiemodellen, werken door een proces van geleidelijke vernietiging te leren omkeren. Stel je voor dat je een heldere foto neemt en er langzaam statische ruis aan toevoegt totdat de afbeelding niets meer is dan een korrelige, onherkenbare bende. Een diffusiemodel leert het omgekeerde: beginnend bij pure ruis, leert het hoe het de statische ruis stap voor stap kan verwijderen totdat er weer een heldere afbeelding verschijnt. Om dit te doen, wordt het model getraind om te voorspellen hoe het een ruizige afbeelding weer richting helderheid kan duwen. Dit trainingsproces vertrouwt op een wiskundig doel dat een "score" wordt genoemd, wat in essentie de richting aanwijst naar de schone data. Jarenlang hebben onderzoekers een standaardmethode gebruikt om het model deze vaardigheid te leren, uitgaande van de aanname dat als het model de richting gemiddeld genomen correct voorspelt, het uiteindelijk de taak zal beheersen om nieuwe afbeeldingen te genereren.

Echter, een nieuwe studie onthult dat deze standaard trainingsmethode een verborgen, onvermijdelijke kostenpost bevat die over het hoofd is gezien. De onderzoekers ontdekten dat het doel dat het model probeert te leren niet één enkele, vaste richting is, maar een willekeurige variabele die elke keer verandert wanneer het model naar een ruizige afbeelding kijkt. Omdat het model gedwongen wordt om deze verschuivende doelstelling te raden, bevat het trainingsproces altijd een basisniveau van fout die geen enkele verbetering in leren of krachtigere hardware ooit kan elimineren. Deze fout is geen gebrek in het ontwerp van het model; het is een intrinsieke eigenschap van de wiskunde die wordt gebruikt om het te onderwijzen. De studie identificeert deze onvermijdelijke fout als de trace van de Fisher–Rao-metriek van de data, die meet hoeveel informatie over de oorspronkelijke afbeelding verloren gaat naarmate er ruis wordt toegevoegd. Door deze verborgen kosten te isoleren, hebben de onderzoekers aangetoond dat het vergelijken van de ruwe trainingsscores van verschillende modellen misleidend kan zijn, aangezien de score sterk afhankelijk is van hoe de ruis werd toegevoegd, en niet alleen van hoe goed het model is.

De kern van deze ontdekking ligt in het begrijpen van het verschil tussen wat het model moet weten en wat het daadwerkelijk gevraagd wordt te leren. Het ideale doel voor het model is om de gemiddelde richting te leren die wijst naar alle mogelijke schone afbeeldingen die een specifieke ruizige staat hadden kunnen voortbrengen. Deze gemiddelde richting is de ware "score" van de datadistributie. In de praktijk is het echter onmogelijk om dit gemiddelde te berekenen. In plaats daarvan vraagt het trainingsproces het model om de richting te raden op basis van één enkele, willekeurige schone afbeelding die werd gebruikt om de ruis te creëren. Hoewel deze gok gemiddeld genomen correct is over vele pogingen, is elke individuele gok ruizig en onzeker. De studie bewijst dat de extra fout die wordt geïntroduceerd door het gebruik van deze willekeurige gokjes exact gelijk is aan de trace van de Fisher–Rao-metriek van de conditionele eindpuntfamilie. In gewone taal: dit is een maatstaf voor hoeveel de ruizige afbeelding ons vertelt over de specifieke schone afbeelding waar deze vandaan kwam. Naarmate de ruis toeneemt, vervaagt deze informatie, en de studie laat zien dat de totale trainingsfout precies accumuleert met de snelheid waarmee deze informatie verloren gaat.

Deze bevinding verandert de manier waarop we naar de training van deze krachtige AI-systemen moeten kijken. De onderzoekers toonden aan dat de totale fout die tijdens de training wordt gerapporteerd, feitelijk de som is van twee afzonderlijke delen: de fout die het model daadwerkelijk kan oplossen door beter te leren, en de onvermijdelijke fout veroorzaakt door de willekeur van de trainingsdoelstelling. Dit onvermijdelijke deel, dat zij de "loss floor" (verliesvloer) noemen, hangt volledig af van de data en het schema van de ruis die tijdens de training wordt gebruikt, en niet van het model zelf. Bijgevolg kunnen de ruwe trainingsscores van twee modellen die met verschillende ruisschema's of verschillende bereiken van ruis zijn getraind, niet direct met elkaar worden vergeleken. Een model dat met een breder bereik aan ruis is getraind, kan een hogere fout vertonen simpelweg omdat het een grotere "vloer"-kost moet betalen, zelfs als het eigenlijk een beter model is. De studie biedt een manier om deze verborgen kosten af te trekken, waardoor de werkelijke prestaties van het model aan het licht komen. In tests herstelde het aftrekken van deze vloer de rangschikking van de modellen, waarbij werd aangetoond dat het betere model inderdaad beter was, een feit dat eerder werd vertroebeld door de wiskundige ruis van het trainingsproces.

Het onderzoek verbindt deze trainingsfout ook met de fundamentele geometrie van de data. De studie laat zien dat de onvermijdelijke fout gerelateerd is aan de vorm van de ruimte waarin de data zich bevindt. Als de data bijvoorbeeld bestaat uit afbeeldingen die op een lager-dimensionaal oppervlak binnen een hoog-dimensionale ruimte liggen, onthult de snelheid waarmee de fout groeit naarmate er ruis wordt toegevoegd, de dimensionaliteit van dat oppervlak. Dit betekent dat het trainingsproces zelf een ingebouwde meting bevat van de complexiteit van de data. Bovendien verduidelijkt de studie dat de manier waarop we de ruis plannen — hoe snel we deze toevoegen en hoeveel we verschillende stadia van het proces wegen — de totale hoeveelheid van deze onvermijdelijke fout niet verandert. Het verandert alleen waar langs het pad de fout optreedt. Dit suggereert dat hoewel we het trainingsproces kunnen herordenen om het efficiënter te maken, we de fundamentele kosten van het leren van ruisige data niet kunnen elimineren.

Een van de meest praktische implicaties van dit werk is een nieuwe manier om verschillende AI-modellen te evalueren en te vergelijken. De auteurs laten zien dat door deze verborgen vloer te berekenen en af te trekken, onderzoekers een werkelijke maatstaf krijgen voor hoe goed een model leert. Ze testten dit op synthetische data waarbij de kwaliteit van de modellen al bekend was. Bij het bekijken van de ruwe trainingscijfers was de rangschikking van de modellen soms omgekeerd, waardoor een slechter model beter leek dan een goed model, simpelweg vanwege het gebruikte ruisschema. Zodra de vloer werd afgetrokken, werd de correcte rangschikking hersteld. Dit suggereert dat de huidige standaard voor het rapporteren van de voortgang van de training incompleet is en dat toekomstige vergelijkingen rekening moeten houden met deze geometrische kosten. De studie stelt geen nieuw trainingsalgoritme of een nieuwe manier voor om afbeeldingen te genereren, maar biedt eerder een helderder begrip van de bestaande methoden. Het legt een verborgen laag van het trainingsproces bloot die er altijd al was, wachtend om gemeten te worden.

De onderzoekers verkenden ook hoe dit concept van toepassing is op andere soorten data, zoals tekst, waarbij het proces het maskeren van woorden betreft in plaats van het toevoegen van Gaussische ruis. Ze ontdekten dat daar eveneens een soortgelijke verborgen kostenpost bestaat, gekoppeld aan de entropie, of onzekerheid, van de data. Dit geeft aan dat het principe universeel is voor verschillende soorten generatieve modellen. De studie concludeert dat de geometrie van de data, de informatiestroom en de trainingsdoelstelling allemaal verschillende beschrijvingen zijn van dezelfde onderliggende realiteit. De "loss floor" is geen bug die moet worden opgelost, maar een kenmerk van het universum van informatie dat moet worden erkend. Door het leervermogen van het model te scheiden van de onvermijdelijke kosten van de trainingsmethode, krijgen we een eerlijker en nauwkeuriger beeld van wat deze kunstmatige intelligentiesystemen daadwerkelijk kunnen bereiken.