Efficient Training with Foresight: Multi-Token Auxiliary Supervision for Autoregressive Image Generation

Computers zijn bijzonder vaardig geworden in het creëren van afbeeldingen vanuit het niets, maar de manier waarop ze dit leren voelt vaak als een student die probeert een tekstboek woord voor woord uit het hoofd te leren, zonder ooit de hele pagina te zien. In het vakgebied van kunstmatige intelligentie werkt een populaire methode genaamd autoregressieve generatie door het volgende deel van een afbeelding te voorspellen op basis van de delen die eraan voorafgingen, vergelijkbaar met het afmaken van een zin door het volgende woord te raden. Deze aanpak heeft veelbelovende resultaten laten zien voor het creëren van hoogwaardige plaatjes, maar lijdt onder een fundamentele inefficiëntie. De computer wordt gedwongen om naar elk klein fragment van de afbeelding te kijken, één voor één, om te leren hoe ze in elkaar passen. Dit proces is traag en vaak myope, wat betekent dat de computer zo nauwlettend focust op de onmiddellijke volgende stap dat hij het grotere geheel mist, wat leidt tot repetitieve texturen of wazige details. Bovendien verspilt de computer energie aan het verwerken van delen van de afbeelding die zeer weinig belangrijke informatie bevatten, zoals een leeg stuk lucht, evenveel als bij het verwerken van de complexe details van een gezicht.

Een team onderzoekers van de Foshan University en The University of Hong Kong heeft een nieuwe manier voorgesteld om deze beeldgenererende systemen te trainen die deze problemen oplost zonder te veranderen hoe de computer uiteindelijk een afbeelding creëert. Ze noemen hun methode MTAR, een verenigd framework dat het leerproces verbetert via drie specifieke strategieën. Ten eerste hebben ze veranderd hoe de computer wordt geleerd vooruit te kijken. In plaats van het model alleen te vragen om het direct volgende fragment te voorspellen, hebben ze een tweede taak toegevoegd waarbij het model ook een fragment moet voorspellen dat verderop in de lijn ligt, specifiek het fragment direct onder de huidige positie in het raster. Dit dwingt de computer om de tweedimensionale structuur van de afbeelding te begrijpen, zoals het zien van een buurt in plaats van slechts één straat, wat helpt om lokale patronen en toekomstige context veel beter te vangen. Ten tweede introduceerden ze een techniek om ervoor te zorgen dat het interne begrip van de computer van verschillende delen van de afbeelding onderscheidend en helder blijft. Door verschillende versies van dezelfde beeldkenmerken te vergelijken, moedigden ze het model aan om de representaties van verschillende texturen en vormen gescheiden te houden, wat voorkomt dat de afbeeldingen modderig of repetitief worden. Ten slotte pakten ze het probleem van verspilde inspanning aan door de computer te leren om onbelangrijke delen van de afbeelding te negeren tijdens de training. Met behulp van een apart hulpmiddel om te identificeren welke fragmenten van een afbeelding de meest betekenisvolle informatie bevatten, lieten ze de computer de minder significante gebieden overslaan, zoals lege achtergronden, terwijl hij zich nog steeds concentreerde op de cruciale details.

De resultaten van deze nieuwe aanpak zijn opvallend wanneer ze worden getest op de ImageNet benchmark, een standaard collectie afbeeldingen die wordt gebruikt om vooruitgang in dit vakgebied te meten. Wanneer de onderzoekers hun systeem vergeleken met een leidende eerdere methode genaamd LlamaGen, ontdekten ze dat hun nieuwe framework aanzienlijk betere afbeeldingen produceerde in minder tijd. Specifiek bereikte de nieuwe methode een score die bekend staat als FID, die meet hoe realistisch de gegenereerde afbeeldingen eruitzien, die bijna één punt lager was dan de vorige beste, wat wijst op een duidelijke verbetering in kwaliteit. Nog belangrijker is dat het trainingsproces aanzienlijk sneller was. De onderzoekers ontdekten dat hun systeem hetzelfde prestatieniveau als de oudere methode kon bereiken in slechts een derde van de trainingstijd, en in sommige gevallen was het bijna vier keer sneller. Zelfs toen de onderzoekers de training beperkten tot slechts een fractie van het gebruikelijke aantal stappen, slaagde het nieuwe systeem er nog steeds in om afbeeldingen te produceren die vergelijkbaar waren met of beter dan de baseline. Dit suggereert dat de verbeteringen niet voortkomen uit simpelweg harder werken, maar uit slimmer werken door betere leersignalen te bieden en onnodige berekeningen te verwijderen.

Cruciaal is dat al deze verbeteringen alleen plaatsvinden terwijl de computer leert. Zodra de training is voltooid, werkt het systeem precies zoals voorheen, waarbij het één voor één tokens voorspelt zonder extra stappen of vertragingen. De onderzoekers hebben aangetoond dat door deze aanvullende taken toe te voegen en informatie met een lage waarde over te slaan tijdens de leernfase, zij een model kunnen creëren dat zowel bekwaamer als efficiënter is. De studie suggereert dat de sleutel tot betere beeldgeneratie niet ligt in het bouwen van grotere modellen, maar in het verfijnen van hoe het model de wereld ziet, door ervoor te zorgen dat het aandacht besteedt aan de juiste zaken en de ruimtelijke relaties tussen hen begrijpt. Door de behoefte aan hoogwaardige output te balanceren met de praktische beperkingen van tijd en rekenkracht, biedt dit werk een duidelijk pad vooruit voor het creëren van realistische afbeeldingen met kunstmatige intelligentie.