Stel je voor dat je een robot probeert te leren een enorme puzzel op te lossen, of een computer vraagt om een gigantische muurschildering te schilderen, of zelfs een film regisseert die uren duurt. Het probleem is dat deze taken te groot zijn om in één keer te leren. Het is alsof je probeert een hele encyclopedie in één nacht uit je hoofd te leren; je brein (of dat van de computer) kan het simpelweg niet allemaal bevatten. Dus gebruiken wetenschappers een slimme truc: ze breken de grote taak op in kleine, hanteerbare stukjes. Ze leren de robot hoe hij een enkele blok kan oppakken, of hoe hij één vierkant van een muur kan schilderen, of hoe hij een clip van vijf seconden kan filmen. Dit zijn de "lokale" experts.

Maar hier komt het lastige deel bij: alleen omdat je elk klein stukje perfect kunt uitvoeren, betekent dat nog niet dat je ze aan elkaar kunt plakken om een perfect geheel te maken. Als je probeert twee puzzelstukjes aan elkaar te lijmen zonder naar de afbeelding op de doos te kijken, kun je ze op een manier dwingen die van dichtbij misschien oké lijkt, maar waardoor het hele plaatje vervormd en gebroken oogt. In de wereld van kunstmatige intelligentie wordt dit "mode averaging" genoemd. Het is wanneer een computer te voorzichtig probeert te zijn en alle opties middelt, wat resulteert in een plan dat een slordig, onmogelijk compromis is — zoals een robotarm die probeert tegelijkertijd een beker en een hamer vast te pakken, of een video waarin een kat halverwege een zin plotseling in een hond verandert.

Dit is waar een nieuw artikel van onderzoekers van het Georgia Institute of Technology om de hoek komt kijken. Ze werken in het veld van generatieve AI, wat de technologie is achter computers die nieuwe afbeeldingen, video's en plannen kunnen creëren. Specifiek pakken ze de hoofdpijn aan van "long-horizon planning" — het uitzoeken hoe je veel kleine stappen aan elkaar rijgt om een groot doel te bereiken. Ze merkten op dat de oude manier om deze kleine AI-modellen aan elkaar te rijgen vaak leidde tot die slordige, onmogelijke compromissen. Dus hebben ze een nieuwe methode uitgevonden genaamd Compositional Diffusion with Guided Search (CDGS). Zie het als het geven van een zaklamp en een kaart aan de computer terwijl hij de puzzel probeert te leggen, waardoor hij vooruit kan kijken, kan controleren of de stukjes daadwerkelijk passen, en de slechte ideeën kan weggooien voordat ze het plaatje verpesten.

Het Probleem: Wanneer "Gemiddeld" de Vijand is

Om te begrijpen wat de auteurs hebben opgelost, moeten we eerst begrijpen welke puinhoop ze hebben gevonden. Stel je voor dat je een roadtrip plant van New York naar Los Angeles. Je hebt een navigatie-app die geweldig is in het plannen van korte ritten, zoals "New York naar Philadelphia" of "Chicago naar Denver." Als je de app alleen vraagt om de routes voor elke mogelijke stop te middelen, eindig je misschien met een pad dat halverwege Chicago is, dan plotseling naar Denver springt, en dan weer terug naar Chicago gaat. Het is een "wiskundig gemiddelde" van alle paden, maar het is een verschrikkelijke, onmogelijke roadtrip.

In de wereld van AI gebeurt dit wanneer de computer probeert veel verschillende "lokale" plannen te combineren. De lokale plannen zijn vaak "multimodaal", wat een chique manier is om te zeggen dat er veel verschillende geldige manieren zijn om een enkele stap uit te voeren. Om bijvoorbeeld een blok te verplaatsen, kan een robot het duwen, trekken of optillen. Als de computer deze opties simpelweg middelt, probeert hij misschien alle drie tegelijk te doen, wat resulteert in een robot die nutteloos trilt. De oude methoden probeerden dit op te lossen door simpelweg de scores van de verschillende mogelijkheden te middelen, maar de auteurs ontdekten dat deze aanpak vaak plannen produceerde die op papier vloeiend leken, maar in de werkelijkheid fysiek onmogelijk of logisch gebrekkig waren.

De Oplossing: Een Geleide Zoektocht door de Mist

De auteurs stellen een nieuwe manier voor om dit aan te pakken, die ze Compositional Diffusion with Guided Search (CDGS) noemen. Om te begrijpen hoe dit werkt, stel je voor dat je in een donker, mistig bos bent en een specifieke open plek probeert te vinden. Je hebt een kompas (het AI-model) dat je de algemene richting aangeeft, maar de mist is zo dik dat je het pad voor je niet kunt zien.

De oude methode was als het nemen van een stap, naar het kompas kijken, en dan een volgende stap nemen in de hoop dat je op koers bleef. Maar omdat de mist dik is, kun je een moeras in drijven zonder het te beseffen totdat het te laat is.

De CDGS-methaling is anders. In plaats van alleen één pad te volgen, stuurt het een heel team van ontdekkingsreizigers uit (een "populatie" van kandidaat-plannen). Bij elke stap van de reis doen deze ontdekkingsreizigers drie dingen:

1. Ze praten met elkaar (Iterative Resampling): De ontdekkingsreizigers aan de voorkant van de rij fluisteren naar degenen achter hen, en vice versa. Dit helpt de hele groep op één lijn te blijven. Als de ontdekkingsreiziger aan de voorkant merkt dat het pad voor hem een doodlopende weg is, kan hij de persoon achter hem vertellen om om te keren voordat de hele groep verdwaald is. Dit zorgt ervoor dat het plan consistent blijft van begin tot eind, in plaats van dat het begin en het einde elkaar tegenspreken.
2. Ze controleren de kaart (Pruning): Het team heeft een speciale regel: als een pad eruitziet alsoals het naar een klif zal leiden (een onmogelijke overgang), dan wordt het direct afgekapt. Ze gebruiken een slimme truc waarbij ze de "geheugen" van de AI over wat een goed pad is gebruiken om deze doodlopende wegen vroegtijdig te herkennen. Ze wachten niet tot het einde van de reis om te beseffen dat ze verdwaald zijn; ze snoeien de slechte takken weg terwijl ze groeien.
3. Ze kiezen het beste pad (Selection): Na het controleren van de paden houden ze alleen de beste, meest veelbelovende ontdekkingsreizigers over en sturen hen door naar de volgende stap. Dit is als survival of the fittest voor roadtrips.

Door dit te doen, vermijdt CDGS de "mode averaging"-valstrik. In plaats van een zompig, onmogelijk gemiddelde te creëren, vindt het een specifiek, samenhangend pad dat van begin tot eind werkt.

Wat Ze Hebben Gevonden: Robots, Panorama's en Films

De auteurs hebben hun nieuwe methode getest in drie zeer verschillende werelden, en de resultaten waren zeer veelbelovend.

1. De Robot-speeltuin
Eerst testten ze CDGS op robots. Ze gaven de robots taken zoals het verplaatsen van een kubus van de ene plek naar de andere, maar met een twist: de robot moest een haak gebruiken om de kubus te trekken, of eerst andere objecten opzij bewegen. Dit zijn "long-horizon" taken omdat ze een reeks van vele stappen vereisen.

• Het resultaat: In deze tests presteerde CDGS net zo goed als de beste bestaande methoden, en in sommige gevallen zelfs beter. Het slaagde erin complexe puzzels op te lossen waarbij de robot de juiste volgorde van bewegingen moest uitvoggen zonder dat de stappen expliciet werden verteld. Het artikel suggereert dat CDCS deze taken kan afhandelen zonder dat er enorme hoeveelheden nieuwe trainingsdata nodig zijn, wat een grote overwinning is omdat het verzamelen van robotdata traag en duur is.

2. De Panoramische Kunstenaar
Vervolgens probeerden ze CDGS te gebruiken om gigantische panoramische afbeeldingen te maken. Stel je voor dat je een foto maakt van een bergketen, maar dat je slechts kleine foto's van één piek tegelijk kunt maken. Je moet ze aan elkaar naaien om het hele uitzicht te zien.

• Het resultaat: Toen ze CDGS gebruikten om deze afbeeldingen aan elkaar te voegen, zag het uiteindelijke panorama er naadloos uit. De bergen sloten perfect op elkaar aan en de lucht vertoonde geen vreemde glitches. Ze vergeleken het met andere methoden die simpelweg de randen "middelden", en CDGS produceerde veel natuurlijkere resultaten die de stijl over de hele afbeelding consistent hielden.

3. De Filmdirecteur
Ten slotte testten ze het op videogeneratie. Ze namen korte videoclips (ongeveer 50 frames lang) en probeerden deze aan elkaar te voegen om een lange video te maken (tot 350 frames).

• Het resultaat: De uitdaging hier is het behouden van de consistentie van de personages. Als een panda in de eerste clip gitaar speelt, mag hij in de tweede clip niet in een beer veranderen. CDGS slaagde erin om de onderwerpen er hetzelfde uit te laten zien en de beweging vloeiend te houden gedurende de lange video. Hoewel de videokwaliteit iets lager was dan bij een korte clip (een afweging die de auteurs een gangbare kwestie vinden bij lange video's), was het veel consistenter dan andere methoden waarbij de personages transformeren en veranderen.

De Kernboodschap

De auteurs benadrukken dat dit geen toverstaf is die elk probleem onmiddellijk oplost. Ze merken op dat hun methode steunt op het hebben van een duidelijk doel (zoals "verplaats de kubus naar de groene plek") en dat het het beste werkt wanneer de "lokale" experts (de kleine AI-modellen) al behoorlijk goed zijn in hun specifieke taken. Ze geven ook toe dat hun methode meer rekenkracht vereist omdat het veel paden tegelijk moet controleren.

Echter, het artikel suggereert sterk dat CDGS een krachtig nieuw hulpmiddel is om AI slimmer te maken in langetermijnplanning. Door een "zoekproces" direct in te bedden in de manier waarop de AI plannen genereert, vermijdt het de slordige compromissen die eerdere methoden hebben geteisterd. Of het nu gaat om een robotarm die uitzoekt hoe hij een rommelig bureau moet opruimen, een camera die over een uitgestrekt landschap panноert, of een filmregisseur die een lang verhaal aan elkaar rijgt: CDGS biedt een manier om het geheel groter te maken dan de som der delen, en zorgt ervoor dat het eindresultaat niet slechts een wiskundig gemiddelde is, maar een samenhangende, werkende realiteit.