Evaluating Visual Prompts with Eye-Tracking Data for MLLM-Based Human Activity Recognition
Dit onderzoek toont aan dat visuele prompts, die oogvolgingsdata omzetten in visualisaties zoals heatmaps en scanpaths, een token-efficiënte en schaalbare methode bieden voor multimodale grote taalmodellen om menselijke activiteiten te herkennen in IoT-toepassingen.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Samenvatting: Hoe we een slimme computer helpen om te "kijken" met zijn ogen
Stel je voor dat je een zeer slimme, maar nogal hongerige robot hebt (een zogenaamde "Multimodal Large Language Model" of MLLM). Deze robot is een meester in het begrijpen van taal en kan fantastisch redeneren. Maar er is een probleem: als je hem gegevens geeft over hoe een mens kijkt (zogenaamde eye-tracking data), raakt hij in de war.
Waarom? Omdat die gegevens eruitzien als een eindeloze stroom van cijfers: x-coördinaat, y-coördinaat, tijd, x-coördinaat, y-coördinaat... Voor de robot is dit als een boek dat uit één lange zin bestaat zonder punten of komma's. Hij raakt de draad kwijt, het kost hem een fortuin aan rekenkracht (en geld), en hij vergeet vaak wat er in het midden van die lange zin stond.
De onderzoekers van dit paper (van KAIST en Adobe) hebben een slimme oplossing bedacht: Visuele Prompting. In plaats van de robot een lijst met cijfers te geven, maken ze er een plaatje van.
Hier is hoe het werkt, vertaald naar alledaagse taal:
1. Het Probleem: De "Cijferbrij"
Stel je voor dat je iemand wilt vertellen hoe een ander door een museum loopt.
- De oude manier (Tekst): Je schrijft een lijst op: "Stap 1: links, stap 2: rechts, stap 3: 2 seconden stilstaan, stap 4: links..." voor 10.000 stappen. De lezer wordt er misselijk van en raakt de boodschap kwijt.
- Het probleem voor de AI: Deze AI's zijn getraind op taal, niet op lange rijen cijfers. Als je ze die cijfers geeft, "verdrinken" ze in de hoeveelheid informatie.
2. De Oplossing: De "Visuele Vertaling"
De onderzoekers zeggen: "Laten we die cijfers niet als tekst geven, maar als een foto." Ze gebruiken drie soorten plaatjes om te laten zien hoe iemand kijkt:
- De Tijdlijn (Timeline): Denk aan een muziekpartituur. Je ziet lijnen die omhoog en omlaag gaan. Dit laat zien wanneer de blik bewoog.
- De Warmtekaart (Heatmap): Denk aan een nachtelijke foto van een stad met verlichting. De heldere plekken zijn waar de persoon lang gekeken heeft (de "hotspots"). Dit laat zien waar de aandacht lag.
- Het Spoor (Scanpath): Denk aan een spoor van een slak of een tekening van een wandeling. Je ziet de lijn die de ogen hebben getrokken, van punt A naar punt B. Dit laat zien in welke volgorde iemand keek.
3. Het Experiment: De "Kijk-Test"
De onderzoekers gaven deze plaatjes aan de slimme robot en vroegen: "Wat deed deze persoon? Leest hij, speelt hij een spelletje, of zoekt hij iets?"
Ze deden dit met drie verschillende datasets (groepen mensen die naar schermen keken) en keken naar twee dingen:
- Hoe slim was de robot? (Kon hij de activiteit goed raden?)
- Hoeveel "eten" kostte het? (Hoeveel rekenkracht/tokenkosten waren er nodig?)
4. De Resultaten: De Kracht van Plaatjes
De resultaten waren verrassend goed:
- Minder eten, meer smaak: De plaatjes waren veel efficiënter. Om dezelfde 10 seconden aan data te geven, had de robot met tekst wel 20 keer meer "eten" (rekenkracht) nodig dan met een plaatje. Het is alsof je de robot een hele berg brood geeft (tekst) versus één smakelijke, geconcentreerde maaltijd (plaatje).
- Beter begrijpen: In veel gevallen was de robot met plaatjes slimmer dan met tekst. Vooral de Warmtekaart (Heatmap) bleek een sterke kandidaat.
- Geen één oplossing voor alles: Net als bij mensen, werkt niet elke methode voor elke situatie.
- Als iemand een spelletje speelt, is een Warmtekaart geweldig (je ziet waar de aandacht zit).
- Als iemand een tekst leest, is een Spoor (Scanpath) beter (je ziet de volgorde van de letters).
- Het is dus belangrijk om het juiste "plaatje" te kiezen voor de juiste activiteit.
5. Waarom is dit belangrijk?
Dit onderzoek is een grote stap voor de toekomst van slimme huizen en draagbare technologie.
- Geen training nodig: Je hoeft de robot niet maandenlang te leren hoe hij moet kijken. Hij gebruikt zijn bestaande kennis en "ziet" het direct op het plaatje.
- Schaalbaar: Je kunt nu 1 minuut, 1 uur of 1 dag aan kijkdata geven zonder dat de kosten exploderen. De plaatjes blijven even groot, ongeacht hoe lang de video is.
Kortom:
De onderzoekers hebben ontdekt dat we slimme computers niet hoeven te dwingen om cijferlijzen te lezen. Als we die cijfers omzetten in een simpel plaatje (zoals een warmtekaart of een spoor), begrijpen ze de menselijke aandacht veel beter, sneller en goedkoper. Het is de kunst van het "vertalen" van data naar beelden, zodat de AI eindelijk kan zien wat wij zien.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.