HoloLLM: Multisensory Foundation Model for Language-Grounded Human Sensing and Reasoning

Die Arbeit stellt HoloLLM vor, ein multimodales Sprachmodell, das durch die Integration ungewöhnlicher Sensormodalitäten wie LiDAR, Infrarot, mmWave-Radar und WiFi sowie durch einen neuartigen Universal Modality-Injection Projector (UMIP) und eine kollaborative Datenerstellung robustere menschenzentrierte Wahrnehmung und Schlussfolgerung in smarten Umgebungen ermöglicht.

Das Wesentliche

Stell dir vor, ein Roboter ist wie ein neuer Mieter in einem smarten Haus. Um sich dort zurechtzufinden und mit den Bewohnern zu sprechen, muss er verstehen, was die Menschen tun. Bisher waren diese Roboter fast ausschließlich auf ihre „Augen" (Kameras) angewiesen. Das ist wie ein Mensch, der versucht, ein Gespräch zu führen, während er eine dicke Brille trägt, die bei Dunkelheit nichts sieht, bei Nebel trüb wird und die er nicht tragen darf, wenn er die Privatsphäre der anderen respektieren soll.

Die Forscher aus Singapur haben nun HoloLLM entwickelt – einen „Super-Roboter-Gehirn", der viel mehr Sinne nutzt als nur das Sehen.

Hier ist die Erklärung der Arbeit, einfach und mit ein paar bildhaften Vergleichen:

1. Das Problem: Der blinde Fleck der Kameras

Künstliche Intelligenz (KI), die Sprache und Bilder versteht (sogenannte Vision-Language-Modelle), ist toll, aber sie hat Schwächen:

• Dunkelheit: Kameras sehen im Dunkeln nichts.
• Verdeckungen: Wenn jemand hinter einem Sofa sitzt, sieht die Kamera ihn nicht.
• Privatsphäre: In Badezimmern oder Schlafzimmern wollen wir keine Kameras.

Menschen nutzen aber nicht nur ihre Augen. Wir hören Schritte, spüren Vibrationen und riechen Veränderungen. HoloLLM versucht, genau das nachzuahmen. Es nutzt „unsichtbare" Sinne wie Radar (wie bei Flugzeugen), WiFi-Signale (die durch Wände gehen), Infrarot (Wärmebilder) und LiDAR (Laser-Abtastung).

2. Das große Hindernis: Der fehlende Wörterbuch

Das Problem bei diesen neuen Sinnen ist: Es gibt keine großen „Wörterbücher".

• Für Bilder gibt es Millionen von Beispielen im Internet (Bilder + Beschreibungen).
• Für Radar- oder WiFi-Signale gibt es nur winzige Datensätze aus Laboren.

Es ist, als würdest du versuchen, einem Kind beizubringen, eine neue Sprache zu sprechen, indem du ihm nur 50 Wörter gibst, statt Millionen. Zudem sind diese Signale sehr „fremd" für die KI. Ein WiFi-Signal sieht für eine KI völlig anders aus als ein Foto.

3. Die Lösung: HoloLLM und der „Universal-Injectoren" (UMIP)

Die Forscher haben eine clevere Abkürzung gefunden, um diese wenigen Daten nutzbar zu machen.

Schritt A: Der „Vorkenntnis-Transfer"
Statt von Null zu beginnen, nutzen sie eine KI, die bereits gelernt hat, Bilder mit Sprache zu verbinden (ein sogenannter CLIP-Encoder). Sie sagen im Grunde: „Hey, wir wissen nicht genau, wie dieses WiFi-Signal aussieht, aber wir wissen, wie ein Bild aussieht. Lass uns das WiFi-Signal erst einmal so behandeln, als wäre es ein Bild, damit wir eine grobe Vorstellung bekommen."
Das gibt dem System einen Startvorteil, ohne dass es riesige Datenmengen braucht.

Schritt B: Der „Universal Modality-Injection Projector" (UMIP)
Das ist das Herzstück. Stell dir UMIP vor wie einen hohen Übersetzer, der zwei Sprachen zusammenbringt:

1. Die grobe Sprache (die Vorhersage aus dem Bild-Modell).
2. Die feinen Details (die spezifischen Merkmale des Radar- oder WiFi-Signals, die ein spezieller Experte-Encoder erkennt).

Der UMIP nimmt die grobe Idee und „injiziert" sie mit den feinen Details. Er fragt sich immer wieder: „Passt dieses Detail hier zu dem, was wir schon wissen?" und verfeinert die Antwort schrittweise. So entsteht ein Verständnis, das sowohl die Sprache als auch die physikalischen Signale perfekt verbindet.

Schritt C: Der menschliche Helfer
Da es keine Texte zu den Sensordaten gab, haben die Forscher eine „Mensch-KI-Kooperation" entwickelt. Menschen haben ein paar Beispiele beschrieben, und eine andere KI (GPT-4o) hat daraus unzählige neue Fragen und Antworten generiert. So entstand ein neues Wörterbuch für diese unsichtbaren Sinne.

4. Das Ergebnis: Der Roboter wird zum Allrounder

In Tests hat sich gezeigt, dass HoloLLM deutlich besser ist als alle bisherigen Modelle:

• Es erkennt menschliche Aktionen (z. B. „Jemand ist hingefallen") auch dann, wenn die Person hinter einem Möbelstück sitzt oder das Licht aus ist.
• Es kann Fragen beantworten („Was macht die Person im Raum?") und Szenen beschreiben, basierend auf Radar- oder WiFi-Daten.
• Die Genauigkeit stieg um bis zu 30 % im Vergleich zu anderen Systemen.

Zusammenfassung in einem Satz

HoloLLM ist wie ein Detektiv, der nicht nur auf seine Augen vertraut, sondern auch auf seine Ohren, sein Gefühl für Vibrationen und seine Intuition, um auch in dunklen, verdeckten oder privaten Räumen zu verstehen, was vor sich geht – und das alles, indem er lernt, mit sehr wenigen Beispielen zu arbeiten.

Dies ist ein großer Schritt hin zu Robotern, die wirklich sicher und diskret in unseren Häusern leben können, ohne dass wir uns Sorgen um Kameras oder Dunkelheit machen müssen.

Technische Zusammenfassung

1. Problemstellung

Der Einsatz von Embodied Agents (z. B. Haushaltsrobotern) in intelligenten Umgebungen erfordert ein tiefes Verständnis menschlichen Verhaltens durch diverse sensorische Eingaben sowie die Fähigkeit zur Kommunikation in natürlicher Sprache.

• Herausforderung der visuellen Dominanz: Herkömmliche Vision-Language-Modelle (VLMs) sind stark auf visuelle Daten angewiesen. Dies führt in realen Szenarien zu Schwächen bei schlechten Lichtverhältnissen, Verdeckungen (Occlusions) oder in datenschutzsensiblen Bereichen.
• Datenknappheit und Heterogenität: Andere Sensormodalitäten wie LiDAR, Infrarot, mmWave-Radar und WiFi-Signale sind robuster gegenüber diesen Einschränkungen. Allerdings gibt es zwei Hauptprobleme bei der Integration dieser Sensoren in Multimodale Large Language Models (MLLMs):
  1. Mangel an Trainingsdaten: Im Gegensatz zu RGB-Bildern existieren kaum große, öffentlich verfügbare Datensätze mit „Sensor-Text"-Paaren für diese seltenen Modalitäten.
  2. Heterogenität der Signale: Die physikalischen Repräsentationen dieser Sensoren (z. B. Frequenzen, Wellenlängen) unterscheiden sich stark von visuellen Daten, was es herkömmlichen Transformer-basierten Encodern schwer macht, robuste Merkmale zu lernen.

2. Methodik: HoloLLM

HoloLLM ist ein MLLM, das seltene Sensormodalitäten integriert, um eine nahtlose, sprachbasierte menschliche Wahrnehmung und Schlussfolgerung zu ermöglichen. Der Ansatz besteht aus drei Kernkomponenten:

A. Universal Modality-Injection Projector (UMIP)

Um das Problem der Datenknappheit zu lösen, wird kein vollständiges Pre-Training der Projektoren von Grund auf durchgeführt. Stattdessen nutzt HoloLLM einen zweistufigen Prozess:

1. Vor-ausgerichtete Initialisierung: Ein CLIP-Vision-Encoder wird als universeller Encoder verwendet, um für jede Sensormodalität initiale Embeddings zu generieren, die bereits grob mit Text ausgerichtet sind (durch Transferlernen).
2. Feinabstimmung durch Tailored Encoders: Für jede Modalität werden spezialisierte, maßgeschneiderte Encoder (z. B. CNNs für WiFi/Radar, PointNet für LiDAR) eingesetzt, um feinkörnige, modalitätsspezifische Merkmale zu extrahieren.
3. Iterative Integration: Der UMIP nutzt einen „Coarse-to-Fine"-Cross-Attention-Mechanismus. Die groben, text-ausgerichteten Initial-Embeddings dienen als Queries, während die feinkörnigen Merkmale der Tailored Encoders als Keys und Values dienen. Durch iterative Blöcke werden die Queries adaptiv mit den spezifischen Sensormerkmalen angereichert und in den semantischen Raum des LLM projiziert. Dies vermeidet einen hohen Alignments-Overhead.

B. Zwei-Stufen-Trainingsstrategie

1. Stufe 1 (Pre-Training): Die Tailored Encoders werden mit spezifischen Aufgaben (z. B. Klassifizierung für Human Action Recognition) vortrainiert, um diskriminative Merkmale zu lernen.
2. Stufe 2 (Fine-Tuning): Das gesamte HoloLLM wird mit einer Kombination aus aufgabenspezifischen Verlusten (z. B. Action QA) und Next-Token-Prediction feinabgestimmt. Die Tailored Encoders bleiben dabei eingefroren.

C. Datenkuratierungs-Pipeline

Da keine Textbeschreibungen für die Sensor-Datensätze existieren, wurde eine Human-VLM kollaborative Pipeline entwickelt:

• Action QA: Experten annotieren Seed-Fragen, die dann durch GPT-4o für Vielfalt umgeschrieben werden.
• Action Captioning: Eine kleine Menge an Daten wird von Experten annotiert und dient als „In-Context"-Beispiele für ein VLM (LLaVA-Video), das automatisch Beschreibungen für den Rest des Datensatzes generiert.

3. Wichtige Beiträge

• Erster Ansatz zur Ausrichtung von MLLMs mit seltenen Sensoren: HoloLLM ist das erste Modell, das MLLMs erfolgreich mit Modalitäten wie mmWave, WiFi und RFID für sprachbasierte menschliche Wahrnehmung integriert.
• Neue Architektur (UMIP): Der Universal Modality-Injection Projector ermöglicht eine effiziente Ausrichtung von Daten-armen Modalitäten mit Text durch die Kombination von universellen Initialisierungen und feinkörnigen, modalitätsspezifischen Features ohne massives Pre-Training.
• Neue Benchmarks: Erstellung der ersten multimodalen Benchmarks für menschliche Sensorik (basierend auf den Datensätzen MM-Fi und XRF55) mit Aufgaben wie Action Recognition, Question Answering (QA) und Captioning.

4. Ergebnisse

Die Evaluation erfolgte auf den Datensätzen MM-Fi und XRF55 unter drei Szenarien: Random Split, Cross-Subject (verschiedene Personen) und Cross-Environment (verschiedene Umgebungen).

• Überlegene Leistung: HoloLLM übertrifft State-of-the-Art-MLLMs (wie OneLLM, ImageBind, Honeybee) in fast allen Modalitäten und Aufgaben deutlich.
  • Steigerung: Die Genauigkeit bei sprachbasierten menschlichen Sensoraufgaben (Language-Grounded Human Sensing) konnte um bis zu 30 % verbessert werden.
  • Beispiel: Auf dem MM-Fi-Datensatz erreichte HoloLLM im Average über alle Modalitäten bei der Action QA eine Genauigkeit von 86,5 % (im Vergleich zu ca. 3,9 % bei Tokenpacker oder 46,2 % bei ImageBind).
• Robustheit: Das Modell zeigt eine hohe Robustheit gegenüber Verdeckungen und schlechten Lichtverhältnissen, wo rein visuelle Modelle versagen.
• Ablationsstudien: Die Studien bestätigen, dass sowohl die Tailored Encoders (für die Merkmalserkennung) als auch der UMIP (für die Ausrichtung) entscheidend für den Erfolg sind. Ohne UMIP ist die Ausrichtung an den Text weniger präzise.
• Generalisierung: Das Modell generalisiert effizient auf neue Modalitäten (z. B. Audio, UWB) mit minimalem Fine-Tuning und wenigen Daten.

5. Bedeutung und Ausblick

HoloLLM legt einen neuen Grundstein für multisensorische, embodied Intelligenz in der realen Welt. Es demonstriert, dass die Integration nicht-visueller Sensoren in Large Language Models notwendig ist, um Agenten in komplexen, dynamischen Umgebungen (z. B. Privatsphäre, Dunkelheit) zuverlässig arbeiten zu lassen.

Limitationen und Zukunft:
Derzeit beschränkt sich das Modell auf die Aufgaben Erkennung, QA und Captioning. Für den Einsatz in echten Robotik-Anwendungen müssen zukünftige Arbeiten Aufgaben wie Task-Planning und die Generierung von Agenten-Aktionen (Action Generation) integrieren. Zudem bleiben Herausforderungen wie Halluzinationen bei sehr spezifischen Sensor-Daten und die Energieeffizienz bestehen.

Zusammenfassend stellt HoloLLM einen Paradigmenwechsel dar: Weg von der rein visuellen Dominanz hin zu einem holistischen, multisensorischen Verständnis der menschlichen Interaktion, das durch fortschrittliche MLLM-Architekturen ermöglicht wird.