HoloLLM: Multisensory Foundation Model for Language-Grounded Human Sensing and Reasoning

In dit paper wordt HoloLLM voorgesteld, een multimodaal groot taalmodel dat ongebruikelijke sensormodi zoals LiDAR en WiFi integreert via een uniek projectorontwerp en een samenwerking tussen mens en VLM voor data-annotatie, waardoor de nauwkeurigheid van taalgebaseerde menselijke waarneming in complexe omgevingen aanzienlijk wordt verbeterd.

De kern

Stel je voor dat je een robot hebt die in je huis woont. Deze robot moet je begrijpen, je helpen en met je praten. Tot nu toe waren deze robots vooral afhankelijk van hun "ogen" (camera's). Maar wat gebeurt er als het donker is? Of als je achter een muur staat? Of als je privacy belangrijk vindt en je niet gefilmd wilt worden? Dan raken de camera's hun grip kwijt.

De onderzoekers van dit paper, HoloLLM, hebben een oplossing bedacht. Ze hebben een nieuwe soort "super-brein" voor robots gebouwd dat niet alleen kijkt, maar ook voelt, hoort en ruikt (in de technologische zin).

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. Het Probleem: De "Blinde" Robot

Stel je voor dat je een robot een opdracht geeft: "Zie je de persoon die achter de bank is gevallen?"

• Een robot met alleen een camera ziet niets. De bank blokkeert het zicht.
• Maar een mens kan het misschien voelen (door trillingen) of horen.
• In de tech-wereld bestaan er speciale sensoren die dit kunnen: LiDAR (zoals een laser-sonar), Infrarood (warmte zien in het donker), Radar (golven die door muren gaan) en WiFi-signalen (die veranderen als iemand beweegt).

Het probleem is dat deze sensoren heel moeilijk te koppelen zijn aan taal. We hebben miljarden foto's en teksten om robots te leren praten, maar we hebben maar heel weinig voorbeelden van "radar-golven + tekst". Het is alsof je iemand wilt leren Frans, maar je hebt alleen maar één zinboekje.

2. De Oplossing: De "Alles-in-Een" Vertaler (UMIP)

De onderzoekers hebben een slimme uitvinding bedacht die ze UMIP noemen. Laten we het vergelijken met een tolk op een vergadering.

• De Basis (De CLIP-Encoder): Stel je voor dat je een tolk hebt die perfect Nederlands en Engels spreekt (dit is de AI die al veel foto's en teksten kent). Deze tolk kan de signalen van de nieuwe sensoren (zoals radar) eerst ruw vertalen naar een basisbegrip.
• De Specialist (De Tailored Encoders): Maar de tolk begrijpt niet precies wat een specifieke trilling in de WiFi-signalen betekent. Daarom hebben ze voor elke sensor een specialist ingehuurd. Deze specialist kent de fijne kneepjes van die specifieke sensor.
• De Magische Samensmelting (UMIP): Hier komt de magie. De UMIP is als een slimme vergadertafel. De basis-tolk (die het grote plaatje ziet) vraagt aan de specialist: "Hé, wat betekent dit specifieke detail?" De specialist geeft het antwoord, en de tolk voegt dit direct toe aan zijn verhaal.

Dit proces gebeurt heel snel en stap voor stap. Het resultaat is dat de robot niet alleen "ziet" wat er gebeurt, maar het ook begrijpt en er een zinvol verhaal over kan vertellen, zelfs als het donker is of als er iemand achter een muur zit.

3. Het Resultaat: Een Robot die Alles "Voelt"

Met HoloLLM kan de robot nu:

• Vragen beantwoorden: "Wie is er in de kamer en wat doet hij?" (Zelfs als je in het donker bent).
• Beschrijven: "Iemand loopt langzaam naar de deur, maar struikelt."
• Privacy bewaken: Omdat de robot niet per se een camera nodig heeft, maar ook via WiFi-signalen kan "zien", is het minder invasief.

De vergelijking:
Als je een robot met alleen een camera vergelijkt met een mens die alleen zijn ogen gebruikt, is HoloLLM als een mens die zijn ogen, oren, neus en huidgevoel combineert. Hij kan de wereld veel vollediger en robuuster ervaren.

Waarom is dit belangrijk?

Vroeger waren slimme robots alleen goed in perfecte omstandigheden (helder licht, geen obstakels). Met HoloLLM kunnen robots echt in onze wereld werken: in donkere slaapkamers, achter volle meubels, of in situaties waar privacy cruciaal is. Ze worden niet meer "blind" als de omstandigheden slecht zijn.

Kortom: HoloLLM geeft robots een multisensorisch bewustzijn, waardoor ze niet alleen kijken, maar echt waarnemen en redeneren over wat er in huis gebeurt.

Technische samenvatting

Probleemstelling

Embodied agents (zoals huishoudrobots) in slimme huizen moeten menselijk gedrag begrijpen via diverse sensorische invoer en communiceren via natuurlijke taal. Hoewel Vision-Language Models (VLMs) indrukwekkende prestaties leveren, zijn ze afhankelijk van visuele data. Dit beperkt hun robuustheid in real-world scenario's met:

• Belemmeringen (occlusies): Een robot kan een persoon niet zien als deze achter een object staat.
• Slechte verlichting: Camera's werken niet goed in het donker.
• Privacybeperkingen: Visuele opnames zijn vaak ongewenst in privéomgevingen.

Mensen gebruiken echter meerdere zintuigen (zicht, gehoor, reuk) om zich aan te passen. De auteurs stellen voor om alternatieve sensormodi te gebruiken zoals LiDAR, infrarood, mmWave-radar en WiFi-signalen.

De uitdaging bij het integreren van deze zeldzame sensoren in Multimodal Large Language Models (MLLMs) is tweeledig:

1. Data-schaarste: Voor zeldzame sensoren zijn er geen grote online datasets met "sensor-tekst" paren (in tegenstelling tot RGB-afbeeldingen), wat grootschalig vooraf trainen van projectoren onmogelijk maakt.
2. Heterogeniteit: De fysieke signaalrepresentaties van deze sensoren (bijv. frequenties, golflengtes) verschillen fundamenteel van visuele data, waardoor standaard Transformer-encoders moeite hebben om robuuste representaties te leren.

Methodologie: HoloLLM

HoloLLM is een MLLM dat is ontworpen om naadloze menselijke waarneming en redenering mogelijk te maken over gemeenschappelijke (visie) en zeldzame sensormodi. De architectuur bestaat uit drie kerncomponenten:

1. Universal Modality-Injection Projector (UMIP)

Dit is de kerninnovatie om data-schaarste en heterogeniteit aan te pakken. In plaats van raw sensor-data direct te alignen met tekst (wat veel data vereist), gebruikt UMIP een coarse-to-fine aanpak:

• Pre-aligned Initial Embeddings: Er wordt een universele CLIP-visionencoder gebruikt om initiële embeddings te genereren die al inherent zijn uitgelijnd met tekst (door CLIP's pre-training). Deze dienen als "ruwe" (coarse) queries.
• Maatwerk Encoders (Tailored Encoders): Voor elke specifieke sensor (bijv. WiFi, Radar) wordt een aangepaste encoder (vaak convolutioneel) gebruikt om fijne, modality-specifieke kenmerken te extraheren.
• Iteratieve Injectie: De UMIP gebruikt een cross-attention mechanisme waarbij de ruwe queries (van CLIP) iteratief worden verrijkt met de fijne kenmerken van de maatwerk encoders. De output wordt geprojecteerd naar de semantische ruimte van de LLM en fungeert als input voor de volgende iteratie. Dit gebeurt zonder significante extra aligneringskosten.

2. Data Curation Pipeline (Human-VLM Collaborative)

Omdat er geen bestaande tekstannotaties zijn voor sensordata, hebben de auteurs een pipeline ontwikkeld om deze te genereren voor de datasets MM-Fi en XRF55:

• Action QA (Vragen): Menselijke experts annoteren seed-vragen, die vervolgens door GPT-4o worden herschreven voor diversiteit.
• Action Caption (Beschrijvingen): Een "Human-VLM" cyclus wordt gebruikt. Mensen annoteren een kleine set voorbeelden, die door GPT-4o worden herschreven. Vervolgens gebruikt een VLM (LLaVA-Video) deze voorbeelden via in-context learning om automatisch beschrijvingen te genereren voor de rest van de dataset.

3. Trainingsstrategie

Een twee-fasen trainingsstrategie wordt toegepast:

1. Pre-training: De maatwerk encoders worden getraind op specifieke taken (zoals Human Action Recognition) om modality-specifieke kenmerken te leren.
2. Fine-tuning: De volledige HoloLLM (met bevroren encoders) wordt gefine-tuned met een combinatie van taak-specifieke verliesfuncties en next-token prediction (voor QA en captioning).

Kernbijdragen

1. Eerste MLLM voor zeldzame sensoren: HoloLLM is het eerste werk dat MLLMs aligneert met zeldzame sensormodi (LiDAR, Radar, WiFi, RFID) voor taal-gedreven menselijke waarneming.
2. UMIP Architectuur: Een nieuwe projector die data-schaarste overwint door gebruik te maken van pre-aligned embeddings en deze iteratief verrijkt met fijne kenmerken via cross-attention.
3. Nieuwe Benchmarks en Dataset: De auteurs hebben de eerste multisensorische benchmark opgezet voor menselijke waarneming, inclusief een data-curatie pipeline voor het genereren van tekstuele annotaties voor bestaande sensordatasets.

Resultaten

HoloLLM werd geëvalueerd op twee datasets (MM-Fi en XRF55) met drie splitsingsstrategieën (Random, Cross-Subject, Cross-Environment) en drie taken (Action Recognition, Action QA, Action Caption).

• Superieure Prestaties: HoloLLM presteert significant beter dan state-of-the-art MLLMs (zoals OneLLM, ImageBind, Honeybee).
• Verbetering: Er is een verbetering van tot 30% in nauwkeurigheid voor taal-gedreven menselijke waarnemingstaken vergeleken met bestaande modellen.
• Robuustheid: Het model toont superioriteit in omstandigheden waar visie faalt (bijv. achter obstakels of in het donker), dankzij de integratie van radar en infrarood.
• Ablatie Studies: De experimenten bevestigen dat zowel de maatwerk encoders (voor kenmerkextractie) als de UMIP (voor alignering) essentieel zijn voor de prestaties. Zonder UMIP is de alignering met tekst minder effectief.

Betekenis en Toekomst

Dit werk vestigt een nieuwe basis voor embodied intelligence in de echte wereld. Het toont aan dat het mogelijk is om taal-gedreven redenering te koppelen aan niet-visuele sensoren, wat cruciaal is voor robots die in privacygevoelige of complexe omgevingen moeten opereren.

Beperkingen en Toekomstig Werk:

• Het model is momenteel beperkt tot actieherkenning, vragen stellen en beschrijven.
• Toekomstig werk moet zich richten op het uitbreiden naar taakplanning en het genereren van acties door agents.
• Er is nog werk nodig om de generalisatie over verschillende onderwerpen en omgevingen voor zeer gevoelige sensoren (zoals WiFi) te verbeteren.

Samenvattend biedt HoloLLM een robuust kader voor het overbruggen van de kloof tussen zeldzame fysieke sensoren en taalmodellen, waardoor slimme agents beter kunnen "voelen" en "redeneren" in onze fysieke wereld.