💻 computer science

HAMMER: Harnessing MLLM via Cross-Modal Integration for Intention-Driven 3D Affordance Grounding

HAMMER is een nieuw raamwerk dat multimodale grote taalmodellen (MLLMs) benut via kruismodale integratie om interactie-intenties uit beelden om te zetten in nauwkeurige 3D-afkondigingslocaties, zonder afhankelijk te zijn van expliciete objectbeschrijvingen of kant-en-klare 2D-segmentatie.

Oorspronkelijke auteurs: Lei Yao, Yong Chen, Yuejiao Su, Yi Wang, Moyun Liu, Lap-Pui Chau

Gepubliceerd 2026-03-04

📖 5 min leestijd🧠 Diepgaand

CC BY 4.0

Oorspronkelijke auteurs: Lei Yao, Yong Chen, Yuejiao Su, Yi Wang, Moyun Liu, Lap-Pui Chau

Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer

Stel je voor dat je een robot bouwt die niet alleen kan zien, maar ook kan begrijpen hoe je met voorwerpen moet omgaan. Hoe weet een robot dat je een kopje vastpakt aan de handgreep en niet aan de bodem? Of dat je een stoel gebruikt om op te zitten en niet om erop te slaan?

Dit is wat wetenschappers "affordance" noemen: de mogelijkheden die een object biedt. Het nieuwe artikel HAMMER beschrijft een slimme manier om robots dit aan te leren, door te kijken naar hoe mensen dat doen.

Hier is de uitleg, vertaald naar alledaags taal met een paar leuke vergelijkingen:

1. Het Probleem: De Robot is "Blind" voor Intentie

Stel je voor dat je een robot een foto toont van iemand die een hamer vasthoudt om een spijker in te slaan. De robot kijkt naar de foto en naar een 3D-model van de hamer.

Oude methoden waren als een robot die alleen naar de vorm van de hamer kijkt en raadt: "Misschien moet ik hieraan vasthouden?" of "Misschien hier?". Ze maakten vaak fouten omdat ze de bedoeling van de mens niet echt begrepen.
Soms probeerden ze eerst een 2D-afbeelding te maken en die dan "om te klappen" naar 3D, maar dat is als proberen een platte tekening van een huis om te bouwen tot een echt huis; het gaat vaak mis en details gaan verloren.

2. De Oplossing: HAMMER (De Slimme Vertaler)

De auteurs van dit paper hebben HAMMER bedacht. De naam staat voor Harnessing MLLM via Cross-Modal Integration (geen zorgen, dat is grijs taal), maar je kunt het zien als een super-vertaler.

HAMMER gebruikt een heel slimme "hersenbank" (een groot taal- en beeldmodel, of MLLM) die al duizenden foto's en beschrijvingen heeft gezien. Hier is hoe het werkt, stap voor stap:

Stap 1: De "Gedachte" Vangst (De Intentie)

In plaats van dat de robot alleen naar de foto kijkt, vraagt HAMMER aan de slimme AI: "Wat probeert deze persoon hier te doen?"

Vergelijking: Stel je voor dat je naar een foto kijkt van iemand die een deur duwt. Een gewone camera ziet alleen een hand op een deur. HAMMER denkt: "Ah, de intentie is 'duwen'!"
De AI pakt deze gedachte en verpakt hem in een soort elektronische envelop (een embedding). In deze envelop zit niet alleen de tekst "duwen", maar ook het gevoel van contact en waar de hand precies moet zijn.

Stap 2: De Samensmelting (De Bril)

Nu heeft de robot twee dingen:

De 3D-hamer (de fysieke vorm).
De elektronische envelop met de intentie (wat moet er gebeuren).

HAMMER gebruikt een trucje genaamd "Cross-Modal Integration".

Vergelijking: Stel je voor dat de 3D-hamer een blind persoon is die de vorm voelt, en de intentie-envelop is een gids die fluistert: "Houd hier vast, want hier is de greep!" HAMMER laat de gids en de blinden persoon samenwerken. De robot "leert" nu niet alleen de vorm van de hamer kennen, maar begrijpt ook waar je moet grijpen op basis van wat je wilt doen.

Stap 3: De 3D-Versterker (De Bouwtekening)

Soms is de "elektronische envelop" nog te vaag voor de 3D-wereld. Het is alsof je een beschrijving hebt van een huis, maar je weet niet precies hoe de muren eruitzien.

HAMMER voegt een extra stap toe: Multi-Granular Geometry Lifting.
Vergelijking: Dit is alsof je de beschrijving van de "gids" langzaam inkleurt met de echte bouwtekening van het huis. De AI neemt de ruwe gedachte en maakt er een scherpe, driedimensionale kaart van. Nu weet de robot precies op welk puntje van de hamer de hand moet liggen, zelfs als de hamer een rare vorm heeft.

Waarom is dit zo cool?

Het werkt ook met nieuwe dingen: Als je de robot een nieuw type kopje toont dat hij nooit eerder heeft gezien, kan hij het toch gebruiken. Waarom? Omdat hij leert van de intentie (drinken), niet alleen van de vorm.
Het is robuust: De auteurs hebben getest met "vervuilde" data (alsof de robot een beetje blind is of de foto wazig is). HAMMER blijft dan nog steeds goed werken, terwijl andere robots in de war raken.
- Vergelijking: Als je in een drukke, luidruchtige kamer staat en iemand fluistert je een opdracht toe, kan een gewone robot het niet horen. HAMMER is als iemand die ondanks het lawaai precies begrijpt wat er gezegd wordt.

Samenvattend

HAMMER is een nieuwe manier om robots slim te maken. In plaats van ze te laten raden, gebruiken we een super-slimme AI die de foto's "leest" als een mens. Die AI vertaalt de menselijke bedoeling ("Ik wil dit vastpakken") naar een precieze 3D-kaart voor de robot.

Het is alsof we de robot niet alleen een camera geven, maar ook een verbeelding en begrip voor hoe mensen met de wereld omgaan. Hierdoor kunnen robots in de toekomst veel beter helpen in onze huizen, fabrieken en ziekenhuizen.

Titel

HAMMER: Het benutten van Multimodale Grootte Taalmodellen (MLLM's) via Cross-Modale Integratie voor Intentie-gedreven 3D Affordance Grounding

1. Het Probleem

Het paper adresseert de uitdaging van 3D affordance grounding. Affordance verwijst naar de eigenschappen van een object die aangeven hoe het gebruikt of geïnteracteerd kan worden (bijv. waar je een kopje vastpakt of een deur opent).

De specifieke taak: Het voorspellen van actieerbare gebieden op een 3D-puntenwolk (point cloud) op basis van een bijbehorende interactieafbeelding (intentie). Dit moet de menselijke vaardigheid nabootsen om objectfuncties te begrijpen door waarneming.
Huidige beperkingen: Bestaande methoden hebben moeite met de kloof tussen visueel begrip (2D afbeelding) en ruimtelijke cognitie (3D structuur).
- Generatie-gebaseerde methoden (zoals GREAT) genereren vaak expliciete tekstuele beschrijvingen, wat een tweestapsproces vereist en manuele annotaties nodig heeft.
- Render-gebaseerde methoden (zoals InteractVLM) projecteren 3D-data naar 2D, genereren maskers en projecteren deze terug. Dit leidt vaak tot verlies van details en meetfouten door onvolledige vormdekking.
- Veel methoden benutten de krachtige begrijpingscapaciteiten van moderne Multimodale Grootte Taalmodellen (MLLM's) niet optimaal voor directe 3D-integratie.

2. Methodologie: Het HAMMER Framework

HAMMER is een nieuw architectuur dat MLLM's gebruikt om interactie-intenties direct om te zetten in 3D-affordance zonder tussenliggende tekstgeneratie of 2D-maskers. De architectuur bestaat uit vier kerncomponenten:

A. Affordance-Gestuurde Intentie Embedding (Sec. 3.2)

In plaats van een volledige tekst te genereren, verwerkt het model de inputafbeelding via een voorgeïmplementeerde MLLM (Qwen2.5-VL).
Er wordt een speciaal token [CONT] (contact) toegevoegd aan de vocabulaire om interactiegerelateerde informatie te aggregeren.
Een object-gerichte prompt-strategie wordt gebruikt (met objectcategorie-labels) om de MLLM te focussen op relevante semantiek.
De output is een contact-bewuste intentie embedding ( $f_c$ ).
Als hulptaken wordt het model ook gevraagd om tekstuele affordance-labels te voorspellen (met een taalmodelleringsverlies), wat ervoor zorgt dat het model de objectsemantiek en contextuele aanwijzingen grondig "uitgraaft".

B. Hiërarchische Cross-Modale Integratie (Sec. 3.3)

Om de 3D-puntenwolk te verrijken met de kennis uit de MLLM, wordt een hiërarchisch integratiemechanisme gebruikt.
Fase 1 (Encoder-niveau): De verborgen staten van de MLLM worden gebruikt als 'key' en 'value' in een cross-attention mechanisme met de geëncodeerde 3D-puntenfeatures (query). Dit laat elke 3D-punt toe om selectief te letten op relevante interactieaanwijzingen uit de afbeelding.
Fase 2 (Decoder-niveau): Na het herstel van de volledige resolutie van de punten, wordt een globale descriptor van de MLLM-features (via een gating-mechanisme) toegevoegd aan de 3D-features. Dit zorgt voor een holistische semantische uitlijning tussen beeld en 3D-structuur.

C. Multi-Granulaire Geometrie Lifting (Sec. 3.4)

De intentie embedding ( $f_c$ ) uit de MLLM bevat veel 2D-informatie maar mist expliciete 3D-ruimtelijke informatie.
In plaats van 2D-maskers terug te projecteren, wordt een multi-granulaire geometrie lifting module ontwikkeld.
Deze module injecteert geometrische kenmerken op meerdere schalen (van grove structuur tot fijne details) uit de 3D-encoder direct in de intentie embedding.
Dit gebeurt via een progressief attentie-mechanisme dat de embedding stap voor stap "lift" naar een 3D-bewuste embedding ( $f^{3D}_c$ ), waardoor deze ruimtelijke bewustwording krijgt zonder camera-parameters nodig te hebben.

D. Affordance Decoding (Sec. 3.5)

De verfijnde 3D-puntenfeatures en de 3D-bewuste intentie embedding worden samen verwerkt door een decoder om de uiteindelijke affordance-kaart (een waarschijnlijkheidsscore per punt) te genereren.
Het trainingsverlies combineert taalmodelleringsverlies en een gecombineerd affordance-verlies (Focal Loss + Dice Loss).

3. Belangrijkste Bijdragen

Nieuw Framework (HAMMER): Een architectuur die direct een contact-bewuste intentie embedding extraheren uit een MLLM en deze gebruikt om 3D-representaties te verrijken via hiërarchische cross-modale integratie.
Geometrie Lifting Module: Een innovatieve module die ruimtelijke aanwijzingen op verschillende granulariteiten injecteert in de intentie embedding, wat zorgt voor nauwkeurige 3D-localisatie zonder tussenstappen van 2D-rendering.
Robuustheid en Evaluatie: Het paper introduceert een nieuw corrupted benchmark (met ruis, uitval, rotatie, etc.) om de robuustheid te testen. HAMMER presteert superieur op standaard datasets (PIAD, PIADv2) en toont grote weerstand tegen data-corruptie.

4. Resultaten

Prestatie op PIAD en PIADv2: HAMMER overtreft state-of-the-art methoden (zoals GREAT, IAGNet, LASO) consistent.
- Op de Seen-split van PIAD verbetert het de aIOU (average Interaction Overlap) met 2,59% ten opzichte van GREAT.
- Op de Unseen-split (nieuwe objecten) is de verbetering nog groter: +5,39% in aIOU, wat aantoont dat het framework uitstekend generaliseert naar nieuwe objecten.
- Op het uitgebreide PIADv2-benchmark behaalt HAMMER de beste scores op alle splits (Seen, Unseen Object, Unseen Affordance).
Robuustheid: Op het nieuwe corrupted benchmark presteert HAMMER significant beter dan concurrenten onder diverse ruiscondities (bijv. +9,31% aIOU verbetering bij lokale dropout).
Kwalitatieve Analyse: Visualisaties tonen dat HAMMER nauwkeurigere en completere affordance-kaarten genereert, zelfs bij complexe objecten of onbekende vormen, terwijl concurrenten vaak gefragmenteerde of onnauwkeurige voorspellingen doen.
Ablatie Studies: De studies bevestigen dat zowel de hiërarchische integratie als de geometrie lifting essentieel zijn voor de prestaties. Ook blijkt dat het fine-tunen van de taalcomponent van de MLLM (via LoRA) cruciaal is voor generalisatie.

5. Betekenis en Toekomstperspectief

Embodied AI: Het werk is van groot belang voor de ontwikkeling van robotica en embodied agents, omdat het robots in staat stelt om objecten te begrijpen en te manipuleren op basis van visuele demonstraties, zonder dat ze vooraf geprogrammeerde kennis van elk specifiek object nodig hebben.
Efficiëntie: Door te voorkomen dat er tussenliggende 2D-maskers of expliciete tekstbeschrijvingen nodig zijn, is de pipeline efficiënter en minder gevoelig voor cumulatieve fouten.
Toekomst: De auteurs plannen om het framework uit te breiden naar scene-level affordance grounding, wat complexere omgevingen en diverse interacties mogelijk maakt.

Samenvattend introduceert HAMMER een krachtige nieuwe benadering die de semantische kracht van MLLM's direct koppelt aan 3D-geometrie, wat leidt tot robuustere en nauwkeurigere systemen voor robotische interactie en augmented reality.