From Instructions to Assistance: a Dataset Aligning Instruction Manuals with Assembly Videos for Evaluating Multimodal LLMs

Dit paper introduceert de Manual to Action Dataset (M2AD), een dataset die meubelassemblagevideo's koppelt aan instructiehandleidingen om de prestaties van multimodale grote taalmodellen te evalueren bij het ondersteunen van technische taken, en concludeert dat hoewel deze modellen procedurele sequenties kunnen begrijpen, hun vermogen om real-time assistentie te verlenen nog beperkt wordt door architecturale en hardware-beperkingen.

De kern

Van Handleiding naar Hulp: Een Nieuwe Test voor Slimme Robots

Stel je voor dat je net een nieuwe IKEA-kast hebt gekocht. Je hebt de handleiding, maar die is vaak verwarrend. Je zou graag willen dat er een slimme assistent naast je staat die precies ziet wat je doet, de handleiding in zijn hoofd heeft en je in real-time helpt: "Hé, die schroef zit nog niet goed," of "Je bent aan stap 5 toe, niet aan stap 3."

Dat is precies waar dit onderzoek over gaat. De auteurs hebben een nieuwe manier bedacht om te testen of onze huidige "slimme AI-assistenten" (zogenoemde Multimodale Large Language Models of MLM's) deze taak wel aankunnen.

Hier is de uitleg, vertaald naar alledaagse taal:

1. Het Probleem: De "Blinde" AI

Tot voor kort waren AI-modellen vooral super in het lezen van tekst. Maar in de echte wereld hebben we meer nodig: we moeten kijken (video) én lezen (handleiding) tegelijkertijd.
Stel je een robot voor die alleen tekst kan lezen. Als je hem vraagt: "Is die kast nu klaar?", kan hij dat niet beantwoorden omdat hij niet kan zien of jij de plank wel goed hebt vastgezet. Hij is als een blinde die een boek voorleest, maar de kast niet ziet.

2. De Oplossing: De "M2AD" Speelplaats

De onderzoekers hebben een nieuwe dataset (een verzameling data) gemaakt genaamd M2AD.

• Wat is het? Het is een enorme bibliotheek van YouTube-video's van mensen die meubels in elkaar zetten, gekoppeld aan de echte IKEA-handleidingen.
• Het unieke aspect: Ze hebben niet elke beweging tot in detail gemeten (zoals "arm beweegt 5 cm naar rechts"). Dat is te veel werk en te duur. In plaats daarvan hebben ze de video's gemerkt met de stap die de persoon doet.
• De analogie: Het is alsof je een film hebt van iemand die een puzzel legt, en je hebt er een lijst bij met de nummers van de puzzelstukken. De AI moet nu zelf kunnen zien: "Ah, in dit stukje van de film wordt er een stukje geplaatst dat hoort bij stap 12 in de lijst."

3. De Test: De "Proef op de Som"

De onderzoekers hebben verschillende openbare AI-modellen (de slimste die je op een gewone pc kunt draaien) op deze test gezet. Ze stelden drie vragen, alsof ze een sollicitatiegesprek houden met de AI:

1. De "Is het klaar?"-vraag: "Kijk naar deze video en deze pagina uit de handleiding. Is de stap op de pagina nu voltooid?"
   • Resultaat: Sommige AI's deden het redelijk, maar veel anderen dachten dat het willekeurig was. Het was alsof ze de foto's keken maar de tekst niet begrepen.
2. De "Zoek de juiste pagina"-vraag: "Kijk naar de video. Welke van deze twee handleiding-pagina's hoort bij wat je ziet?"
   • Resultaat: Slechts een paar modellen konden dit goed. De meeste raakten de pagina's door elkaar.
3. De "Welke stap is het?"-vraag: "Kijk naar de video en de handleiding. Welk stapnummer wordt er nu precies gedaan?"
   • Resultaat: Hier faalden bijna allemaal, behalve één model (MolMo). Dit model was slim genoeg om te zeggen: "Oh, ik zie dat de persoon naar de linkerkant van de afbeelding wijst, en daar staat stap 4."

4. Wat Leerden We? (De Lessen)

De resultaten waren een mix van hoop en realiteit:

• De Hardware is een bottleneck: De AI-modellen zijn slim, maar ze hebben een "korte adem". Ze kunnen niet heel lang naar een video kijken of heel veel tekst en beelden tegelijk verwerken zonder hun geheugen vol te laten lopen. Het is alsof je probeert een heel boek te lezen terwijl je een zware rugzak draagt; je vergeet snel wat er eerder stond.
• Visueel inzicht is cruciaal: De modellen die goed deden, konden goed "ruimtelijk redeneren". Ze begrepen dat de handleiding een platte tekening is en de video een echte, driedimensionale situatie. Ze konden de link leggen tussen "hier op papier" en "daar in het echt".
• Minder werk voor mensen: Een groot pluspunt is dat deze AI's het redelijk deden zonder dat mensen elke seconde van de video moesten uitleggen. Dit betekent dat we in de toekomst minder dure, handmatige uitleg hoeven te geven om AI's te trainen.

5. De Toekomst: De Slimme Hulp in je VR-bril

De droom is dat je binnenkort een bril (Virtual Reality of Augmented Reality) opzet. De AI kijkt dan mee met je ogen, ziet wat jij ziet, leest de handleiding mee en zegt: "Wacht, je hebt de verkeerde schroef gepakt. Pak die ene links."

Dit onderzoek laat zien dat we daar nog niet helemaal zijn, maar we zijn wel een grote stap dichterbij. De AI's worden steeds beter in het combineren van wat ze zien en wat ze lezen, maar ze hebben nog wat meer "brein" en geheugen nodig om die perfecte, real-time hulp te worden die we nodig hebben in de echte wereld.

Kortom: We hebben een nieuwe testbaan gebouwd voor slimme robots. Ze lopen er nog niet perfect, maar ze leren snel hoe ze een handleiding en een werkende hand in één oogopslag kunnen begrijpen.

Technische samenvatting

Probleemstelling

Grote Taalmodellen (LLMs) hebben de AI-landschap getransformeerd, maar hun toepassing in complexe, real-world taken vereist nu multimodale modellen (MLLMs) die tekst, video en audio kunnen verwerken. Een veelbelovende toepassing is technische assistentie, waarbij een AI-assistent een gebruiker helpt bij het uitvoeren van procedurele taken (zoals het monteren van meubels) door in real-time te redeneren over de omgeving en instructiehandleidingen.

Bestaande benchmarks voor multimodale taken hebben echter belangrijke tekortkomingen:

1. Gebrek aan diepgang: Ze focussen vaak op geïsoleerde vaardigheden (zoals beeld-tekst uitlijning) en niet op complexe, meervoudige stappen die sequentieel begrip vereisen.
2. Aanname van zware annotatie: Bestaande datasets (zoals IKEA Manuals at Work) vereisen vaak kostbare, frame-voor-frame annotaties. Dit is niet schaalbaar en gaat in tegen de trend dat moderne modellen zelfstandig informatie uit ruwe input moeten kunnen halen.
3. Perspectief en realisme: Veel datasets gebruiken slechts één perspectief (ego- of exocentrisch) en missen de variabiliteit en onderbrekingen die voorkomen in echte montagesituaties.

Methodologie

De auteurs introduceren M2AD (Manual-to-Action Dataset), een nieuw dataset en benchmark specifiek ontworpen voor het evalueren van MLLMs in technische assistiescenario's.

1. Het M2AD Dataset:

• Bron: Het dataset bestaat uit YouTube-video's van het monteren van IKEA-meubels, gekoppeld aan de officiële instructiehandleidingen (gescrapt van de IKEA-website).
• Omvang: 53 unieke meubelstukken met in totaal 1228 annotaties (gemiddeld 23 stappen per video).
• Annotatie: In plaats van frame-voor-frame labels, zijn de video's opgedeeld in segmenten die corresponderen met specifieke stappen in de handleiding. Elke annotatie bevat start- en eindtijdstippen, het stapnummer en het paginanummer.
• Realisme: Het dataset omvat zowel egocentrische (eerste persoon, VR/AR-achtig) als exocentrische (derde persoon) perspectieven. Het analyseert ook niet-lineaire gedragingen, zoals het overslaan van stappen of het terugkeren naar eerdere stappen, wat vaak voorkomt bij echte gebruikers.
• Kwaliteit: De subjectiviteit van de annotatie is gemeten via Inter-Annotator Agreement (IAA) met een gemiddelde Intersection-over-Union (IoU) van ~70%.

2. Experimenten:
De auteurs hebben acht open-source MLLMs (zoals LLaVa-Video, Qwen2-VL, MolMo, Ovis, Pixtral) getest op een consumentenhardware (NVIDIA RTX 4090) om de prestaties in drie specifieke taken te evalueren:

• Stap Voltooiing Detectie: Kan het model bepalen of een bepaalde stap in de handleiding succesvol is voltooid op basis van videoframes?
• Stap Detectie: Kan het model bepalen of een specifieke stap in de handleiding overeenkomt met de huidige video-actie (tussen een juiste en een afleidende pagina)?
• Stap Identificatie: Kan het model het exacte stapnummer identificeren dat momenteel wordt uitgevoerd, gegeven video en twee pagina's uit de handleiding?

Belangrijkste Bijdragen

1. M2AD Dataset: Een uniek dataset dat video en instructiehandleidingen koppelt met een focus op procedurele redenering en real-world variabiliteit, zonder de noodzaak van overmatig gedetailleerde handmatige annotaties.
2. Evaluatie van Open-Source Modellen: Een uitgebreide benchmark van open-access MLLMs die draaien op consumentenhardware, wat relevant is voor privacy en kosteneffectiviteit in industriële toepassingen.
3. Inzicht in Annotatie-efficiëntie: Het paper toont aan dat MLLMs in staat zijn om redenering uit te voeren met minimale annotaties, wat suggereert dat de afhankelijkheid van dure, fijnkorrelige datasets kan worden verminderd.

Resultaten

De resultaten tonen een gemengd beeld, met zowel potentie als duidelijke beperkingen:

• Prestaties per Taak:
  • Stap Voltooiing: Modellen zoals LLaVa-Video, Qwen2-VL en Ovis presteerden beter dan willekeurige gokken (accuracy rond de 56-57%), maar de meeste andere modellen presteerden slecht.
  • Stap Detectie: Alleen LLaVa-Video en Qwen2-VL presteerden significant beter dan een baseline.
  • Stap Identificatie: Dit bleek de moeilijkste taak. De meeste modellen faalden hierin, behalve MolMo, die een opmerkelijke accuracy van 79,56% behaalde.
• Belangrijke Bevindingen:
  • MolMo's Succes: MolMo presteerde uitstekend bij stapidentificatie, waarschijnlijk dankzij zijn unieke vermogen om naar objecten in een afbeelding te "wijzen" en zijn ruimtelijke redenering (het interpreteren van links/rechts in samengestelde afbeeldingen van video en tekst).
  • Architecturale Beperkingen: De prestaties van de meeste modellen werden beperkt door hardware- en architectuurbeperkingen, zoals het vermogen om lange contextvensters te verwerken en meerdere afbeeldingen interleaved met tekst te redeneren.
  • OCR en Ruimtelijk Redeneren: Het vermogen om tekst in handleidingen te lezen (OCR) en de relatie tussen de handleiding en de video ruimtelijk te begrijpen, bleek cruciaal.

Betekenis en Toekomstperspectief

Dit paper benadrukt dat multimodale modellen het potentieel hebben om real-time technische assistenten te worden, maar dat er nog een kloof bestaat tussen huidige capabilities en de eisen van complexe, procedurele taken.

• Kosteneffectiviteit: Het succes met minimale annotatie suggereert dat toekomstige systemen minder afhankelijk kunnen zijn van dure menselijke labeling.
• Hardware en Privacy: Het succes op consumentenhardware is cruciaal voor industriële toepassingen waar data-privacy belangrijk is en externe API's niet altijd toegestaan zijn.
• Toekomstige Richtingen: De auteurs pleiten voor verder onderzoek in:
  • Pre-training en fine-tuning voor betere uitlijning tussen visuele en tekstuele modaliteiten.
  • Het verbeteren van het vermogen om meerdere afbeeldingen en tekst interleaved te redeneren.
  • Uitbreiden van de evaluatie naar andere domeinen zoals voertuigreparatie, gezondheidszorg en programmering om de cross-domein generalisatie te testen.

Samenvattend biedt M2AD een realistisch en uitdagend kader om de volgende generatie multimodale assistenten te evalueren, waarbij de focus ligt op het begrijpen van procedurele logica in plaats van alleen objectherkenning.