Reproducible Multimodal Affordance Prediction

Stel je een robot voor die naar een koffiemok reikt op een rommelig aanrecht. Om te slagen, moet de machine meer doen dan alleen het object zien; de machine moet begrijpen wat ermee gedaan kan worden. De machine moet weten dat het handvat bedoeld is om vast te pakken, dat de rand veilig is om aan te raken en dat de onderkant stabiel is om op te tillen. In de wereld van robotica en kunstmatige intelligentie wordt dit begrip van potentiële acties een "affordance" genoemd. Het is de brug tussen het zien van een object en weten hoe je ermee kunt interageren. Voor robots om veilig naast mensen te kunnen werken in ongestructureerde omgevingen — zoals huizen of ziekenhuizen — moeten ze deze acties betrouwbaar kunnen voorspellen, zelfs wanneer objecten gedeeltelijk verborgen zijn, de verlichting verandert, of wanneer de robot zelf iets vasthoudt. Toch heeft het vakgebied, ondanks het belang van deze vaardigheid, moeite gehad om vooruitgang te boeken omdat onderzoekers verschillende talen spraken, verschillende hulpmiddelen gebruikten en er niet in slaagden de blauwdrukken van hun werk te delen.

Een team onderzoekers uit Italië en Zwitserland heeft geïdentificeerd dat de huidige staat van affordance-voorspelling gefragmenteerd en moeilijk te verifiëren is. Ze ontdekten dat hoewel veel wetenschappers modellen bouwen om machines te leren hoe ze met objecten moeten interageren, deze modellen vaak onmogelijk eerlijk te vergelijken zijn. De ene onderzoeker definieert het probleem als het vinden van de exacte plek om een object vast te pakken, terwijl een ander het definieert als het voorspellen van de vorm van een menselijke hand die het zou vasthouden. Ze gebruiken verschillende datasets, waarvan sommige synthetisch en andere echt zijn, en ze delen vaak de code of de specifieke instellingen die gebruikt zijn om hun systemen te trainen niet. Dit gebrek aan transparantie betekent dat een model goed kan lijken in een laboratoriumverslag, maar volledig kan falen wanneer het in een echte scenario wordt geplaatst, of erger nog, dat het voor andere wetenschappers onmogelijk kan zijn om te weten of de resultaten wel correct zijn behaald. De auteurs stellen dat zonder een standaardmethode om te documenteren hoe deze systemen worden gebouwd en getest, de vooruitgang stagneert en de veiligheid van mens-robot samenwerking onzeker blijft.

Om dit op te lossen, introduceerden de onderzoekers een nieuw documentatie-instrument genaamd de "Affordance Sheet". Denk aan dit als een gedetailleerd paspoort voor een model voor kunstmatige intelligentie. Net zoals een paspoort de naam, nationaliteit en reisgeschiedenis van een persoon vermeldt, vermeldt een Affordance Sheet exact waar een model voor is ontworpen, van welke data het heeft geleerd, hoe het is getraind en hoe het is getest. De auteurs creëerden deze sjabloon om transparantie af te dwingen. Het vereist dat onderzoekers het type input specificeren dat het model gebruikt, zoals afbeeldingen, taal of 3D-puntenwolken, en dat zij verklaren of er een mens aanwezig is in het scenario. Cruciaal is dat de makers worden geëist om links te verstrekken naar hun code, de datasets die zij hebben gebruikt, en de specifieke regels die zij tijdens de training hebben gevolgd, zoals hoe zij afbeeldingen hebben aangepast of de leersnelheid hebben bijgesteld. Door dit formulier in te vullen, maakt een onderzoeker zijn werk open voor inspectie, waardoor anderen de resultaten kunnen verifiëren of erop voort kunnen bouwen zonder de ontbrekende details te hoeven raden.

Het team testte de effectiviteit van deze nieuwe standaard door deze toe te passen op vier bestaande, vooraanstaande modellen in het vakgebied. Toen zij probeerden de formulieren voor deze modellen in te vullen, werden de hiaten in het oorspronkelijke onderzoek pijnlijk duidelijk. Sommige modellen hadden geen beschikbare code, terwijl andere wel code hadden maar geen getrainde gewichten, waardoor het onmogelijk was om ze opnieuw te draaien. Verschillende studies slaagden er niet in om te rapporteren hoe zij hun data verdeelden voor testen, waardoor het onduidelijk bleef of de resultaten oprecht waren of dat het model simpelweg de antwoorden had uit het hoofd geleerd. In één geval beweerde een model te werken op echte objecten, maar het formulier onthulde dat het alleen was getest op synthetische afbeeldingen gegenereerd door een computer. In een ander geval moesten de onderzoekers de trainingsinstellingen raden omdat het originele artikel deze wegliet. Deze inconsistenties betekenden dat de modellen niet eerlijk vergeleken konden worden; het ene model kon simpelweg superieur lijken omdat het werd getest onder makkelijkere omstandigheden of met betere datapreparatie, en niet omdat het slimmer was.

De investigatie benadrukte ook een kritiek gat in de manier waarop deze systemen worden gevalideerd. De meeste modellen worden getest in gecontroleerde laboratoriumomgevingen waar objecten perfect stil staan op een tafel onder fel licht. Echter, de Affordance Sheets toonden aan dat zeer weinig van deze modellen ooit zijn getest op echte robots die interageren met echte mensen in rommelige, onvoorspelbare omgevingen. De onderzoekers benadrukten dat voor een robot om veilig te zijn, bewezen moet worden dat hij kan omgaan met occlusies — wanneer een hand of een ander object het zicht blokkeert — en dat hij kan generaliseren naar objecten die hij nog nooit eerder heeft gezien. Het huidige gebrek aan dergelijke tests betekent dat veel veelbelovende systemen theoretisch blijven. De auteurs vonden dat slechts een klein aantal van de beoordeelde modellen een sectie over veiligheid bevatte of beschreef hoe het systeem zou reageren als er een mens in de buurt was, wat een grote zorg is voor toekomstige inzetbaarheid.

Door de Affordance Sheet voor te stellen, vragen de onderzoekers niet alleen om betere papierwinkel; ze pleiten voor een cultuuromslag in hoe onderzoek naar kunstmatige intelligentie wordt uitgevoerd. Ze suggereren dat het vakgebied zich moet bewegen van geïsoleerde experimenten naar een cultuur van open wetenschap waar methoden reproduceerbaar zijn en vergelijkingen eerlijk zijn. Het instrument is ontworpen om flexibel te zijn, in staat om zich aan te passen aan nieuwe soorten modellen en taken buiten alleen affordance-voorspelling. Het uiteindelijke doel is om ervoor te zorgen dat wanneer een robot uiteindelijk wordt ingezet om een mens te assisteren, zijn vermogen om met de wereld te interageren geen mysterie is, maar een geverifieerde, betrouwbare en veilige capaciteit. Het artikel concludeert dat zonder dit niveau van transparantie, het vakgebied het risico loopt systemen te bouwen die er op papier goed uitzien, maar in de echte wereld niet vertrouwd kunnen worden.