Training-seed variance in single-run comparisons of frozen-CLIP adaptation: evidence from cross-dataset facial expression recognition

In de wereld van kunstmatige intelligentie worden computers steeds vaker geleerd de wereld te herkennen door samen met enorme bibliotheken van afbeeldingen en tekst te studeren. Dit proces creëert een krachtig, algemeen doelgericht brein dat afbeeldingen kan begrijpen die het nog nooit eerder heeft gezien. Echter, wanneer deze systemen in de echte wereld worden ingezet, struikelen ze vaak. Een model dat getraind is op één set foto's, kan er rampzalig uitzien wanneer het wordt geconfronteerd met foto's die onder andere belichting zijn genomen, door andere camera's, of met andere mensen. Dit is een veelvoorkomend probleem bij gezichtsuitdrukkingherkenning, waarbij een computer die getraind is om geluk of woede te herkennen in één dataset, vaak zijn nauwkeurigheid verliest wanneer het wordt geconfronteerd met een nieuwe collectie gezichten. Om dit op te lossen zonder het hele enorme brein opnieuw te trainen, hebben onderzoekers "adaptatie"-technieken ontwikkeld. Deze methoden houden het hoofdbrein bevroren en onveranderd, en voegen slechts een kleine, trainbare laag toe om zich aan te passen aan de nieuwe situatie. Het is een praktische oplossing, maar het rust op een gevaarlijke aanname: dat als een onderzoeker dit aanpassingsproces één keer uitvoert en een resultaat krijgt, dat resultaat de waarheid is.

Een team van onderzoekers aan de Hefei University of Technology zette zich in om te testen of deze aanname van een enkele run standhoudt. Ze richtten zich op twee concurrerende manieren om deze bevroren AI-breinen aan te passen voor gezichtsuitdrukkingherkenning. Eén methode, de "globale route" genoemd, neemt een enkele samenvatting van de gehele afbeelding en probeert die samenvatting aan te passen om bij de nieuwe taak te passen. De andere methode, bekend als de "token route", werkt anders; in plaats van de afbeelding eerst samen te vatten, kijkt het naar de individuele stukjes van de afbeelding en leert hoe het deze moet wegen voordat het een beslissing neemt. Jarenlang is de token route aangenomen superieur te zijn omdat het meer detail behoudt. Om dit te testen, namen de onderzoekers een standaard bevroren AI-model en pasten beide adaptatiemethoden toe. Maar in plaats van de experimentele run één keer uit te voeren en de winnaar te rapporteren, voerden ze het experiment vele malen uit, waarbij ze alleen het willekeurige startpunt van het trainingsproces veranderden, ook wel de "seed" genoemd. Ze deden dit voor twee verschillende formaten AI-modellen, waarbij ze het experiment tien keer uitvoerden op het kleinere model en vijftien keer op het grotere model, waarbij ze altijd exact dezelfde gegevens en regels gebruikten.

De resultaten van deze rigoureuze hertest waren verbijsterend. Wanneer de onderzoekers naar de gegevens van een enkele run keken, leek de token route aanzienlijk beter dan de globale methode in een cross-dataset test, met een voorsprong van bijna vier procentpunten. Dit is het soort spectaculaire resultaat dat normaal gesproken een vakgebied definieert. Echter, wanneer ze de resultaten gemiddelden over alle tien of vijftien verschillende trainingsruns, verdween die voorsprong. Sterker nog, voor het kleinere AI-model draaide het voordeel volledig om; de token route presteerde gemiddeld zelfs slechter dan de globale methode. Het verschil tussen de beste en slechtste runs was zo groot dat het de oorspronkelijke claim volledig overschaduwde. De onderzoekers ontdekten dat het willekeurige startpunt van het trainingsproces genoeg was om de conclusie van de studie om te keren. Vijf van de zes belangrijke vergelijkingen die ze maakten, vertoonden deze instabiliteit, wat betekent dat een enkele experimentele run gemakkelijk een "winnaar" kan rapporteren die zou verliezen als het experiment simpelweg zou worden herhaald met een ander willekeurig startpunt.

Er was echter één uitzondering die de test van herhaling overleefde. Bij een specifieke test met afbeeldingen die gedegradeerd waren door synthetische verstoringen zoals onscherpte of ruis, presteerde de token route consistent beter dan de globale methode op het grotere AI-model. Dit voordeel bleef standhouden over alle vijftien trainingsruns, waarbij de token route met ongeveer drieënhalf procentpunt leidde. Om er absoluut zeker van te zijn dat dit geen toevalstreffer was, namen de onderzoekers deze bevinding mee naar een volledig nieuwe dataset van gezichtsuitdrukkingen waar ze nog nooit eerder mee hadden gewerkt. Ze pasten dezelfde strikte regels en vooraf gedefinieerde criteria toe. De token route won opnieuw, met een voorsprong van bijna drie punten. Dit bevestigde dat hoewel de token route geen universeel wondermiddel is dat alles in elke situatie verslaat, het wel een echte, reproduceerbare kracht bezit bij het omgaan met specifieke soorten beeldcorruptie op grotere modellen.

De studie onthulde ook dat de manier waarop onderzoekers hun experimenten afstemmen net zo belangrijk is als het willekeurige startpunt. Wanneer de onderzoekers de leersnelheid — een cruciale instelling die bepaalt hoe snel het model leert — anders lieten kiezen voor elke willekeurige run, verschoven de resultaten drastisch. In één geval verplaatste het wijzigen van deze instelling het prestatieverschil met meer dan drie punten, wat exact de omvang was van het effect dat de oorspronkelijke enkele run had geclaimd. Dit suggereert dat de "winnaar" van een vergelijking vaak evenzeer afhangt van de specifieke afstemmingskeuzes als van de methode zelf. De onderzoekers concludeerden dat het vakgebied te veel heeft vertrouwd op vergelijkingen van een enkele run, die misleidende directionele claims kunnen produceren. Ze toonden aan dat voor veel adaptatiemethoden de ruis die door willekeurige variaties in training wordt geïntroduceerd, groot genoeg is om de resultaten om te keren. De enige manier om te weten of een methode echt beter is, is door de methode vele malen uit te voeren en de spreiding van de resultaten te rapporteren, in plaats van alleen de enkele beste uitkomst.

Dit werk verklaart niet dat één adaptatiemethode permanent superieur is aan de andere. In plaats daarvan onthult het dat het landschap van AI-adaptatie veel instabieler is dan voorheen werd aangenomen. De token route is geen gegarandeerde overwinning, noch is de globale methode een mislukking; hun prestaties zijn zeer gevoelig voor de willekeurige seeds die tijdens de training worden gebruikt en de specifieke condities van de test. De ene duidelijke, reproduceerbare bevinding is dat de token route een echt voordeel biedt voor grotere modellen wanneer afbeeldingen gecorrumpeerd zijn, maar dat deze kracht zich niet uitstrekt tot alle taken of alle modelgroottes. De studie dient als een noodzakelijke correctie op de manier waarop deze technologieën worden geëvalueerd, en dringt er bij onderzoekers op aan om verder te kijken dan enkelvoudige momentopnames van prestaties en het volledere beeld van variabiliteit te omarmen. Door dit te doen, kan de wetenschappelijke gemeenschap onderscheid maken tussen vluchtige statistische ruis en echte, betrouwbare verbeteringen in hoe machines menselijke gezichten begrijpen.