MuRAL: A Multi-Resident Ambient Sensor Dataset Annotated with Natural Language for Activities of Daily Living

Dit artikel introduceert MuRAL, een uniek dataset met meer dan 21 uur aan sensorgegevens uit een slim huis voor meerdere bewoners, die is aangevuld met gedetailleerde natuurlijke taalbeschrijvingen om de huidige beperkingen van Large Language Models bij het begrijpen van complexe dagelijkse activiteiten in dergelijke omgevingen te onderzoeken.

De kern

🏠 De MuRAL: Een "Spookhuis" voor Slimme Huizen

Stel je voor dat je een huis hebt dat niet alleen kijkt, maar ook luistert. Dit is geen huis met camera's die je in de gaten houden (dat zou ongemakkelijk zijn), maar een huis vol met kleine, onzichtbare sensoren. Denk aan contacten op de deuren, bewegingssensoren in de gang en slimme stopcontacten die zien of de koffiezetapparaat aanstaat.

Dit huis heet DOMUS. En de onderzoekers hebben hier een nieuw soort "spoorboekje" voor gemaakt, genaamd MuRAL.

🕵️‍♀️ Het Probleem: De Stille Getuigen

Vroeger hadden we al datasets (verzamelingen met data) van slimme huizen, zoals CASAS of ARAS. Maar die waren als een telefoonboek zonder namen.

• De sensoren zagen: "De deur ging open."
• Maar ze wisten niet: Wie deed het? Was het de vader die naar buiten ging, of de dochter die binnenkwam? En wat was het doel? Was het om de post te halen of om de hond uit te laten?

Oude modellen konden dit niet goed raden. Ze zagen alleen losse stukjes puzzel.

🧠 De Oplossing: Een Verteller met een Geheugen

De onderzoekers (Xi Chen en zijn team) wilden zien of Grote Taalmodellen (LLMs) – die slimme AI's zoals de onderliggende technologie van ChatGPT – dit beter kunnen. Maar om die AI's te leren, hadden ze een nieuw soort dataset nodig.

Ze noemen het MuRAL (Multi-Resident Ambient sensor dataset with natural Language).

Wat maakt MuRAL speciaal?
Stel je voor dat je een film kijkt, maar dan zonder beeld, alleen met geluid.

• Oude datasets: Zeggen alleen: Klik. Klik. Gekraak.
• MuRAL: Zegt: "Aan het begin van de dag loopt Anna (de moeder) naar de keuken, opent de koelkast, pakt eieren en zet de koffie op. Even later komt Bob (de zoon) binnen, loopt naar de bank en pakt een gamecontroller."

MuRAL bevat dus niet alleen de sensordata, maar ook een menselijke vertaling in gewone taal van wat er precies gebeurt. Ze hebben 21 sessies opgenomen met 2 tot 4 mensen die samen in het huis leefden, net als een echte familie of huisgenoten.

🎬 Hoe hebben ze het gedaan?

1. Het Huis: Ze gebruikten een echt testhuis met sensoren overal, maar geen camera's in de slaapkamens (voor privacy).
2. De Mensen: Vrijwilligers kwamen langs en deden hun dagelijkse dingen: ontbijten, tv-kijken, koken, gamen. Ze mochten vrij handelen, net als thuis.
3. De Vertaling: Na de sessie keken ze terug naar video-opnames (die daarna direct werden vernietigd voor privacy) en schreven ze voor elke sensorbeweging een zinnetje op.
   • Sensordata: "Deurkast gesloten."
   • MuRAL-notitie: "Anna pakt borden uit de kast en zet ze op tafel."

🧪 De Test: Kunnen AI's dit?

De onderzoekers hebben de slimste AI's (zoals GPT-4o) getest met deze nieuwe dataset. Ze vroegen de AI drie dingen:

1. Wie deed het? (Is het Anna of Bob die de deur opende?)
2. Wat deed hij/zij? (Beschrijf de actie in een zin.)
3. Wat is het grotere plaatje? (Is het "ontbijten" of "tv-kijken"?)

Het Resultaat:
De AI's waren verrassend goed in het begrijpen van de taal, maar ze hadden nog steeds moeite met de chaos van een echt huis.

• De verwarring: Als Anna en Bob allebei op de bank zitten en naar tv kijken, denkt de AI soms dat alleen de één zit te rusten en de ander niets doet.
• De lange verhalen: Als er heel veel sensoren achter elkaar afgaan, raakt de AI de draad kwijt en vergeet hij wie wat deed. Het is alsof je een lang verhaal hoort en halverwege de namen van de personages vergeet.

💡 Waarom is dit belangrijk?

Dit onderzoek is als het leren van een nieuwe taal voor robots.
Vroeger leerden we robots alleen met cijfers en getallen. Met MuRAL leren we ze nu met woorden en context. Dit is cruciaal voor de toekomst, want als een slim huis echt wil helpen (bijvoorbeeld voor bejaardenzorg of veiligheid), moet het niet alleen weten dat er beweging is, maar ook begrijpen wie er is en waarom.

Kort samengevat:
MuRAL is een nieuw, rijk verteld verhaalboek van een slim huis. Het laat zien dat AI's al heel slim zijn, maar dat ze nog moeten leren om niet te verdwalen in de drukte van een gezin met meerdere mensen. Het is de eerste stap naar huizen die echt "meedenken" met hun bewoners.

Technische samenvatting

Probleemstelling

Hoewel Large Language Models (LLMs) aanzienlijke vooruitgang hebben geboekt in het begrijpen van menselijke activiteiten via omgevingsdata (zoals sensoren in slimme huizen), stuiten onderzoekers op een cruciaal tekort aan geschikte datasets. Bestaande benchmarks zoals CASAS, ARAS en MARBLE zijn ontwikkeld vóór de opkomst van LLM's en hebben drie belangrijke beperkingen:

1. Gebrek aan semantische context: Ze missen rijke natuurlijke taalbeschrijvingen die nodig zijn om de betekenis van ruwe sensorgegevens (bijv. "deur open") te ontcijferen.
2. Eenvoudige scenario's: Ze focussen vaak op scriptgedreven routines met één bewoner, terwijl echte huishoudens dynamisch, multi-resident en onvoorspelbaar zijn.
3. Beperkte granulariteit: De annotaties zijn vaak beperkt tot hoogwaardige activiteitsklassificatie, zonder de fijne details van individuele acties of de identiteit van specifieke bewoners in complexe situaties.

Dit beperkt de mogelijkheid om de redeneercapaciteiten van LLM's volledig te benutten voor het interpreteren van ambigue en overlappende activiteiten in slimme omgevingen.

Methodologie: De MuRAL Dataset

Om deze kloof te overbruggen, stellen de auteurs MuRAL (Multi-Resident Ambient sensor dataset with natural Language) voor.

• Datacollectieomgeving: De data is verzameld in het DOMUS Intelligent Apartment (60 m²), een laboratorium dat een realistisch woonmilieu simuleert met 23 omgevingssensoren (infrarood bewegingssensoren, magnetische contactsensoren, slimme stekkers).
• Deelnemers en Sessies: De dataset bestaat uit 21 sessies met in totaal 18 vrijwilligers. Elke sessie duurde ongeveer een uur en omvatte 2 tot 4 bewoners die sociale rollen (bijv. gezinsleden, kameraden) aannamen.
• Natuurlijk Gedrag: In tegenstelling tot scriptgedreven datasets, kregen deelnemers alleen hoge niveau context (tijd van dag, rollen) en mochten ze vrij handelen op basis van hun eigen gewoonten. Dit resulteerde in spontane, overlappende activiteiten.
• Privacy: Camera's en microfoons werden uitsluitend gebruikt voor annotatie en direct na het proces verwijderd. Slaapkamers waren uitgerust met sensoren op de deuren, maar geen binnenkamersensoren, om privacy te waarborgen.
• Annotatieproces:
  • Identificatie: Bewoners kregen alfabetische ID's (A, B, C...) toegewezen op basis van hun eerste optreden.
  • Fijne granulariteit: Een annotator schreef voor ongeveer de helft van de sensorgebeurtenissen een gedetailleerde natuurlijke taalbeschrijving (bijv. "A haalt borden uit de kast, loopt naar de eetkamer en zet ze op tafel").
  • Activiteitslabels: Er zijn 27 vooraf gedefinieerde hoogwaardige activiteitscategorieën (bijv. "ontbijten", "tv kijken", "schoonmaken").
• Datasetstructuur: De data is gestructureerd per sessie met CSV-bestanden voor sensorgebeurtenissen (tijd, sensor, actie, subject, beschrijving, activiteit) en JSON-bestanden voor contextuele metadata.

Kernbijdragen

1. Eerste Multi-Resident Dataset met Natuurlijke Taal: MuRAL is uniek omdat het niet alleen sensordata biedt, maar ook expliciete, fijngedetailleerde natuurlijke taalbeschrijvingen voor individuele acties in complexe, multi-bewoner scenario's.
2. Benchmark voor LLM's: Het paper introduceert een nieuwe benchmark voor drie kerntaken:
   • Subject Assignment: Het correct toewijzen van een sensorgebeurtenis aan de juiste bewoner.
   • Action Description: Het genereren van een tekstuele beschrijving van de actie op basis van sensordata.
   • Activity Classification: Het classificeren van hoogwaardige activiteiten.
3. Open Beschikbaarheid: De dataset is publiek beschikbaar gesteld om de ontwikkeling van taalgestuurde en sociaal bewustzijn HAR-systemen (Human Activity Recognition) te stimuleren.

Resultaten en Evaluatie

De auteurs hebben state-of-the-art LLM's (GPT-4o en GPT-4o-mini) getest op MuRAL en vergeleken met de bestaande methode LAHAR.

• Subject Assignment (Toewijzing):
  • De nauwkeurigheid neemt af naarmate de sequentielengte toeneemt, wat wijst op cumulatieve fouten.
  • GPT-4o presteerde beter dan GPT-4o-mini.
  • De LAHAR-methode (die gebeurtenissen samenvoegt) verbeterde de prestaties van het kleinere model, maar presteerde slechter dan de ruwe aanpak voor het krachtigere GPT-4o, omdat het samenvoegen van gebeurtenissen in multi-resident scenario's vaak leidt tot het verkeerd koppelen van acties aan bewoners.
• Actiebeschrijving:
  • De aangepaste methode (zonder vooraf samenvoegen) presteerde beter dan LAHAR, omdat deze beter aansluit bij de event-gebaseerde annotatiestijl van MuRAL.
  • GPT-4o-mini leverde verrassend nauwkeurigere beschrijvingen op dan GPT-4o, waarschijnlijk door sterkere instructie-opvolging.
  • Conclusie: Het genereren van nauwkeurige beschrijvingen puur op basis van sensordata blijft een grote uitdaging.
• Activiteitsclassificatie:
  • Geen van de modellen bereikte hoge nauwkeurigheid in zero-shot settings.
  • Een groot probleem is het onderscheiden van activiteiten die vergelijkbare sensorpatronen hebben (bijv. "tv kijken" vs. "rusten op de bank"). Modellen falen vaak in het integreren van tijdsreeksen en het koppelen van gerelateerde acties aan dezelfde persoon, of ze negeren sociale interacties (bijv. twee mensen die samen tv kijken).

Betekenis en Toekomstperspectief

MuRAL markeert een verschuiving in het onderzoek naar slimme huizen van statische, scriptgedreven datasets naar dynamische, natuurlijke multi-bewoner scenario's met semantische rijkdom.

• Uitdagingen: De resultaten tonen aan dat huidige LLM's moeite hebben met langdurige contextbehoud, het ontcijferen van ambigue sensorstromen in groepen en het begrijpen van sociale dynamiek.
• Toekomst: De dataset biedt een essentiële basis voor het ontwikkelen van systemen die niet alleen activiteiten herkennen, maar deze ook begrijpen in een sociale context. Dit opent de weg voor onderzoek naar multimodale input, interactief leren en systemen die beter om kunnen gaan met de complexiteit van het dagelijks leven.

De dataset is ethisch verantwoord verzameld (GDPR-compliant) en volledig geanonimiseerd, waardoor het veilig beschikbaar is voor de onderzoeksgemeenschap.