MuRAL: A Multi-Resident Ambient Sensor Dataset Annotated with Natural Language for Activities of Daily Living

Die Arbeit stellt MuRAL vor, einen neuartigen Datensatz mit über 21 Stunden Sensordaten aus einem Smart Home für mehrere Bewohner, der durch detaillierte natürliche Sprachbeschreibungen und präzise Aktivitätslabels Lücken in bestehenden Datenbanken schließt und gleichzeitig die aktuellen Grenzen von Large Language Models bei der Zuordnung von Bewohnern, der Beschreibung von Handlungen und der Aktivitätsklassifizierung aufzeigt.

Das Wesentliche

Titel: MuRAL – Der neue „Schauspieler-Test" für die intelligente Wohnung

Stell dir vor, du hast ein unsichtbares Team von Detektiven in deinem Zuhause. Diese Detektiven sind keine Kameras (die wären ja unangenehm und unprivat), sondern kleine Sensoren: Sie merken, wenn eine Tür auf- oder zugeht, wenn das Licht angeht oder wenn der Kühlschrank geöffnet wird.

Das Problem bisher war: Diese Detektiven waren wie sehr schlaue, aber wortkarge Roboter. Sie sagten nur: „Tür offen", „Tür zu". Aber sie wussten nicht, wer die Tür geöffnet hat oder warum. War es der Vater, der Milch holen wollte? Oder die Tochter, die nachts auf die Toilette ging? Und wenn zwei Personen gleichzeitig im Raum waren, wurde es für die Computer noch verwirrender.

Hier kommt das neue Projekt MuRAL ins Spiel.

1. Was ist MuRAL eigentlich?

MuRAL ist wie ein riesiges, detailliertes Drehbuch für ein Theaterstück, das in einer echten Wohnung spielt. Die Forscher haben 21 verschiedene Szenen aufgezeichnet, in denen 2 bis 4 Personen (wie eine Familie oder WG) ihren Alltag simuliert haben.

Das Besondere an MuRAL ist, dass sie nicht nur die Sensordaten gespeichert haben, sondern auch eine natürliche Beschreibung dazu geschrieben haben.

• Alt: Sensor meldet: „Küchenschrank zu."
• MuRAL: Sensor meldet: „Küchenschrank zu" + Beschreibung: „Person A nimmt Teller aus dem Schrank, geht ins Esszimmer und stellt sie auf den Tisch."

Es ist, als würde man einem Computer nicht nur ein Foto zeigen, sondern ihm auch einen Roman dazu vorlesen, der genau erklärt, was gerade passiert.

2. Warum ist das so wichtig? (Die Analogie vom „Stummen Film")

Früher haben Computer versucht, aus den trockenen Sensordaten (wie bei einem stummen Film ohne Untertitel) zu raten, was die Leute machen. Das funktionierte okay, wenn nur eine Person da war. Aber wenn mehrere Leute gleichzeitig im Raum sind, wird es zum Chaos.

Jetzt, wo wir riesige Sprach-KIs (wie Chatbots) haben, die sehr gut verstehen können, was Menschen sagen, fehlt uns nur noch das passende Material. MuRAL ist dieses Material. Es ist wie ein Trainingslager für KI, das ihr beibringt:

• Wer ist gerade wo? (Zuordnungs-Test)
• Was macht die Person genau? (Beschreibungs-Test)
• Was ist das große Ganze? (z. B. „Sie frühstücken" statt nur „Kaffee maschine an")

3. Der große Test: Können die KI-Modelle das?

Die Forscher haben die besten aktuellen KI-Modelle (die „Superhirne" der heutigen Zeit) auf dieses neue Drehbuch losgelassen, um zu sehen, ob sie die Szenen verstehen.

Das Ergebnis ist eine Mischung aus „Gut gemacht" und „Noch viel zu tun":

• Die Stärke: Die KI kann die groben Aktionen erkennen. Sie weiß, dass etwas passiert.
• Die Schwäche (Das „Vergessliche Kind"): Wenn die Szene lange dauert und viele Dinge gleichzeitig passieren, verliert die KI den Faden. Sie verwechselt oft, wer gerade was macht.
  • Beispiel: Wenn Person A den Fernseher anmacht und Person B sich auf das Sofa setzt, denkt die KI manchmal, Person B mache nur Pause, obwohl beide zusammen fernsehen.
• Die Herausforderung: Die KI ist noch nicht gut darin, den „Zusammenhang" zu verstehen. Sie sieht die einzelnen Puzzleteile (Tür auf, Teller raus), aber sie kann das ganze Bild (Frühstücken mit der Familie) noch nicht immer perfekt zusammenfügen, besonders wenn mehrere Personen durcheinander sind.

4. Was lernen wir daraus?

Die Studie zeigt uns, dass wir zwar sehr starke KI-Modelle haben, aber sie brauchen noch bessere „Lehrbücher" wie MuRAL, um wirklich menschliches Zusammenleben zu verstehen.

Zusammengefasst:
MuRAL ist wie ein neuer, sehr schwieriger Fahrprüfungs-Test für intelligente Häuser. Bisher haben die Autos (die KIs) auf geraden, leeren Straßen (einfache Szenen) gut gefahren. MuRAL bringt sie jetzt in den dichten Stadtverkehr mit vielen Fußgängern und anderen Autos (mehrere Personen, komplexe Interaktionen). Die KIs kommen gut zurecht, stolpern aber noch öfter als erwartet.

Das Gute ist: Jetzt haben wir die Daten, um sie zu trainieren, damit sie in Zukunft nicht nur die Sensoren abhören, sondern wirklich verstehen, was in unserem Zuhause vor sich geht – und das alles, ohne dass wir uns überwacht fühlen.

Wo kann man das sehen?
Die Forscher machen die Daten öffentlich verfügbar, damit jeder daran forschen kann, wie wir unsere Häuser smarter und verständnisvoller machen können.

Technische Zusammenfassung

1. Problemstellung

Die Erkennung von Aktivitäten des täglichen Lebens (ADL) in Smart-Home-Umgebungen ist für Anwendungen im Gesundheitswesen, in der Sicherheit und der Hausautomation entscheidend. Während Umgebungs-Sensoren (z. B. Türkontakte, Bewegungssensoren) im Vergleich zu Kameras oder Wearables datenschutzfreundlicher und unauffälliger sind, stellen sie eine besondere Herausforderung dar:

• Semantische Lücke: Sensordaten sind oft diskret und niedrigschwellig (z. B. nur „geöffnet" oder „geschlossen"). Die semantische Bedeutung ist stark kontextabhängig (das Öffnen einer Schranktür vs. einer Haustür).
• Limitationen bestehender Datensätze: Traditionelle Benchmarks wie CASAS, ARAS oder MARBLE wurden vor dem Aufkommen von Large Language Models (LLMs) entwickelt. Ihnen fehlt es an reichhaltigen natürlichen Sprachkontexten, feingranularen Annotationen und komplexen Mehrpersonen-Szenarien.
• Herausforderung für LLMs: Obwohl LLMs durch Zero-Shot-Reasoning vielversprechend sind, können sie ihre Fähigkeiten nicht voll ausschöpfen, da bestehende Daten keine detaillierten Beschreibungen für Mehrpersonen-Interaktionen bieten, was zu Fehlern bei der Zuordnung von Personen zu Ereignissen und der Kontextintegration führt.

2. Methodik und Datensatz (MuRAL)

Um diese Lücke zu schließen, stellen die Autoren MuRAL (Multi-Resident Ambient sensor dataset with natural Language) vor.

• Datenerhebungsumgebung:
  • Der Datensatz wurde im DOMUS Intelligent Apartment (60 m²) in Grenoble gesammelt.
  • Sensoren: 23 Umgebungs-Sensoren (6 Infrarot-Bewegungssensoren, 10 magnetische Kontaktsensoren, 7 Smart-Plugs) überwachen Bereiche wie Küche, Esszimmer, Wohnzimmer und Bad. Schlafzimmer sind aus Datenschutzgründen nicht mit Sensoren ausgestattet, aber die Türen sind überwacht.
  • Aufzeichnung: Zusätzlich wurden in Gemeinschaftsbereichen Kameras und Mikrofone zur Annotation verwendet (nach der Annotation wurden die Medien dauerhaft gelöscht).
• Datensammlung:
  • Teilnehmer: 18 Freiwillige in 21 Sitzungen.
  • Szenario: Jede Sitzung dauerte ca. eine Stunde und umfasste 2 bis 4 Personen. Die Teilnehmer erhielten soziale Rollen (z. B. Familienmitglieder) und zeitliche Kontexte (z. B. Wochenende, Abend), handelten aber frei, um natürliche Interaktionen zu gewährleisten.
  • Dauer: Insgesamt über 21 Stunden an Sensordaten.
• Annotation:
  • Feingranulare Beschreibung: Im Gegensatz zu früheren Datensätzen wurden für fast die Hälfte der Ereignisse detaillierte natürliche Sprachbeschreibungen erstellt (z. B. „Person A nimmt Geschirr aus dem Schrank und stellt es auf den Tisch").
  • Identitätszuweisung: Personen wurden dynamisch mit Buchstaben (A, B, C...) identifiziert, basierend auf der Reihenfolge ihres Auftretens.
  • Aktivitätsklassen: Es gibt 27 vordefinierte Aktivitätskategorien (z. B. „Frühstück zubereiten", „Fernsehen", „Gespräch führen").
  • Struktur: Die Daten sind in CSV-Dateien (Sensorevents) und JSON-Dateien (Kontext, Metadaten) organisiert.

3. Schlüsselbeiträge

1. Erster mehrpersoniger Datensatz mit natürlicher Sprache: MuRAL ist der erste öffentlich zugängliche Datensatz, der Umgebungs-Sensordaten für Mehrpersonenszenarien mit detaillierten, natürlichen Sprachbeschreibungen für einzelne Ereignisse und Kontexte kombiniert.
2. Benchmark für LLMs: Die Autoren evaluieren State-of-the-Art-LLMs (GPT-4o und GPT-4o-mini) auf MuRAL für drei Kernaufgaben:
   • Subject Assignment: Zuordnung von Sensorevents zu den richtigen Personen.
   • Action Description: Generierung natürlicher Sprachbeschreibungen für die Aktionen.
   • Activity Classification: Klassifizierung von hochrangigen Aktivitäten.
3. Öffentliche Verfügbarkeit: Der Datensatz ist unter https://mural.imag.fr/ verfügbar und dient als Benchmark für zukünftige Forschung.

4. Ergebnisse und Evaluation

Die Evaluation verglich einen angepassten Ansatz (ohne Vorverarbeitung der Events) mit dem bestehenden State-of-the-Art-Ansatz LAHAR.

• Personenzuordnung (Subject Assignment):
  • Die Genauigkeit nimmt mit zunehmender Sequenzlänge ab, da sich Fehler akkumulieren.
  • Der angepasste Ansatz mit GPT-4o erzielte die beste Zuordnungsgenauigkeit (0,701).
  • Der LAHAR-Ansatz (der benachbarte Events zusammenfasst) verbesserte schwächere Modelle (4o-mini), führte aber bei starken Modellen zu leichten Einbußen, da die Annahme, dass benachbarte Events vom selben Sensor von derselben Person stammen, in komplexen Mehrpersonenszenarien oft falsch ist.
• Aktionsbeschreibung (Action Description):
  • Der angepasste Ansatz übertraf LAHAR deutlich in der semantischen Ähnlichkeit (Cosine Similarity) zu den menschlichen Annotationen.
  • Grund: LAHAR fasst Events in einem Satz zusammen, was nicht dem feingranularen Annotationsstil von MuRAL entspricht.
  • Überraschenderweise folgte das kleinere Modell 4o-mini den Anweisungen etwas besser als das große 4o-Modell, was zu weniger Auslassungen führte.
• Aktivitätsklassifikation:
  • Keine der Methoden erreichte eine hohe Zero-Shot-Genauigkeit.
  • Hauptproblem: Modelle scheitern daran, zeitlich verknüpfte Ereignisse einem einzelnen Individuum zuzuordnen. Beispiel: „Videospielen" wird oft nur als „Gerät einschalten" erkannt, während das anschließende Sitzen auf dem Sofa fälschlicherweise als „Ausruhen" klassifiziert wird. Auch soziale Interaktionen (z. B. zwei Personen schauen gemeinsam fern) werden oft nicht erkannt.

5. Bedeutung und Fazit

MuRAL adressiert kritische Lücken in der Forschung zu Smart Homes und LLMs:

• Es ermöglicht die Entwicklung von Systemen, die soziale Kontexte und Mehrpersonen-Interaktionen verstehen, was für realistische Anwendungen unerlässlich ist.
• Die Ergebnisse zeigen, dass aktuelle LLMs zwar interpretierbare Ergebnisse liefern, aber noch erhebliche Schwierigkeiten bei der Disambiguierung in Mehrpersonenszenarien und der langfristigen Kontextintegration haben.
• Der Datensatz ebnet den Weg für zukünftige Forschung, die multimodale Eingaben und interaktives Lernen integriert, um robustere und sozial bewusste Aktivitätserkennungssysteme zu entwickeln.

Das Paper unterstreicht die Notwendigkeit von Datensätzen, die über einfache Klassifizierung hinausgehen und die Komplexität menschlichen Verhaltens in geteilten Räumen durch natürliche Sprache abbilden.