DIFFCZSL: Compositional Zero-Shot Learning Regularized by Diffusion Representations

Stel je een wereld voor waarin een computer naar een foto van een rode appel en een foto van een groene appel kan kijken, leert wat "rood" en "groen" betekenen, en dan direct een "groene appel" herkent die hij nog nooit heeft gezien, zelfs als hij alleen op rode appels is getraind. Dit is de uitdaging van compositioneel zero-shot leren, een specifieke tak van kunstmatige intelligentie die zich afvraagt hoe eenvoudige concepten combineren om nieuwe, complexe ideeën te vormen. Decennialang hebben onderzoekers geprobeerd computers deze vaardigheid aan te leren door ze duizenden voorbeelden te tonen, maar de machines worstelen vaak wanneer ze gevraagd wordt om deze ideeën te mengen en te matchen op manieren die ze niet hebben geoefend. Ze herkennen misschien het object, zoals een banaan, en de staat, zoals "rijp", maar falen er dan in te begrijpen dat een "rijpe banaan" een specifieke visuele realiteit is die verschilt van gewoon een "rijp" ding of een "banaan" in het algemeen. De kern van de moeilijkheid ligt in het leren van de machine om de relatie tussen de onderdelen te zien, en niet alleen de onderdelen zelf.

Een team onderzoekers aan de Hong Kong University of Science and Technology heeft een nieuwe manier gevonden om deze machines te helpen deze vaardigheid aan te leren, niet door ze meer voorbeelden te leren, maar door te lenen van een ander soort intelligentie. Ze ontdekten dat hoewel standaard AI-modellen uitstekend zijn in het onderscheiden van de ene afbeelding van de andere, ze soms onhandig zijn in het begrijpen van hoe concepten samensmelten. Om dit op te lossen, introduceerde het team een "generatieve" helper in het trainingsproces. Denk aan deze helper als een model dat oorspronkelijk is gebouwd om afbeeldingen te creëren op basis van tekstbeschrijvingen, in plaats van alleen om ze te identificeren. Door de AI naar de interne werking van dit beeldvormende model te laten kijken terwijl hij leert, konden de onderzoekers het leerproces sturen naar een dieper begrip van hoe attributen en objecten bij elkaar passen.

De onderzoekers, onder leiding van Hangyu Tian en collega's, bouwden een systeem dat ze DIFFCZSL noemen. Hun aanpak begint met een krachtig, bestaand AI-model genaamd CLIP, dat erg goed is in het koppelen van plaatjes aan woorden. Echter, het team merkte op dat CLIP een "rijpe banaan" soms behandelt als slechts een banaan die toevallig in de buurt van het woord "rijp" staat, in plaats van een verenigd concept waarbij de rijpheid het uiterlijk van de vrucht verandert. Om dit te corrigeren, voegden ze een tweede stap toe tijdens de trainingsfase. Ze namen een vooraf getraind beeldgeneratiemodel, het soort dat een plaatje kan tekenen wanneer je een beschrijving typt, en vroegen het om naar dezelfde afbeeldingen te kijken die de hoofd-AI aan het bestuderen was. Dit generatiemodel heeft een unieke manier van de wereld zien; omdat het moet leren hoe het een afbeelding vanaf nul moet reconstrueren op basis van tekst, let het nauwlettend op hoe specifieke details, zoals de textuur van een bananenschil of de kleur van een appel, interageren met het object zelf.

Het team verving de hoofd-AI niet door dit generatiemodel. In plaats daarvan gebruikten ze het generatiemodel als een leraar. Terwijl de hoofd-AI probeerde te leren, gaf het generatiemodel extra hints over de structuur van de afbeelding. Het fluisterde de hoofd-AI in essentie: "Kijk, wanneer je een banaan ziet, is het concept 'rijp' niet zomaar een apart label; het verandert de visuele vorm en kleur van de banaan." De onderzoekers extraheerden deze interne hints uit het generatiemodel en stemden deze af op het begrip van de hoofd-AI. Dit proces gebeurde alleen terwijl de computer aan het leren was. Zodra de training voltooid was, werd het generatiemodel verwijderd en bleef de hoofd-AI achter met zijn oorspronkelijke snelheid en structuur, maar nu met een veel scherpere vaardigheid om nieuwe combinaties te herkennen.

De resultaten van dit experiment werden gemeten aan de hand van drie verschillende sets afbeeldingen, variërend van schoenen tot fruit tot alledaagse objecten. In elk geval presteerden de AI-modellen die deze extra begeleiding kregen beter dan de modellen die dat niet deden. Op een dataset van schoenen genaamd UT-Zappos zag het team een significante sprong in nauwkeurigheid, waarbij de modellen ongeziene combinaties veel vaker correct identificeerden. Wanneer ze bijvoorbeeld gevraagd werd een "gesneden appel" of een "rijpe banaan" in een nieuwe context te identificeren, waren de begeleide modellen veel minder geneigd om in de war te raken. De verbetering was consistent, of de test nu beperkt was tot bekende categorieën of zich opende naar een breed scala aan mogelijke combinaties. De onderzoekers ontdekten dat de modellen beter werden in het balanceren van hun kennis van wat ze eerder hadden gezien met hun vermogen om te raden wat ze nog nooit hadden gezien, een cruciale vaardigheid voor real-world toepassingen waar voortdurend nieuwe situaties ontstaan.

Een van de meest opmerkelijke bevindingen was dat deze verbetering kwam zonder de computer te vertragen of zwaarder te maken. Omdat het generatiemodel alleen werd gebruikt als gids tijdens de leernfase en daarna werd weggegooid, draaide het uiteindelijke systeem net zo snel als het origineel. Het team testte ook of het specifieke type generatiemodel uitmaakte, en stelde vast dat nieuwere, meer geavanceerde versies betere begeleiding boden dan oudere versies. Ze vergeleken hun methode zelfs met andere soorten krachtige AI-modellen en ontdekten dat het unieke vermogen van het generatiemodel om concepten te laten versmelten de sleutel was, en niet alleen het feit dat het een groot, vooraf getraind systeem was. De studie suggereert dat de manier waarop deze generatieve modellen leren om afbeeldingen vanuit tekst te creëren, een verborgen structuur van de wereld vastlegt die perfect is om machines te leren hoe ze ideeën combineren.

Dit werk benadrukt een veelbelovende weg vooruit voor kunstmatige intelligentie. In plaats van te proberen één enkel, massaal model te bouien dat alles perfect doet, lieten de onderzoekers zien dat het combineren van de sterke punten van verschillende soorten modellen tot betere resultaten kan leiden. Door een model dat afbeeldingen creëert te laten leren van een model dat ze herkent, hebben ze een brug geslagen in hoe computers de wereld begrijpen. De bevindingen suggereren dat de toekomst van AI kan liggen in deze samenwerkingen, waarbij generatieve en discriminatieve modellen samenwerken om systemen te creëren die niet alleen accuraat zijn, maar ook diepgaand begrijpen van de complexe, samengestelde aard van de realiteit. De aanpak biedt een eenvoudige, effectieve manier om machines slimmer te maken over hoe dingen bij elkaar passen, zonder extra belasting toe te voegen aan hun dagelijkse taken.