SmartBench: Evaluating LLMs in Smart Homes with Anomalous Device States and Behavioral Contexts

Dit paper introduceert SmartBench, het eerste dataset en benchmark voor het evalueren van de prestaties van grote taalmodellen bij het detecteren van abnormale toestanden in slimme huishoudens, waarbij de resultaten aantonen dat huidige state-of-the-art modellen hierin nog aanzienlijk tekortschieten.

De kern

SmartBench: De "Rookmelder" voor Slimme Huizen die nog moet leren

Stel je voor dat je een zeer slimme butler hebt, een kunstmatige intelligentie (een LLM), die je huis bewaakt. Deze butler kan praten, je luisteren en zelfs je lampen aansturen als je zegt: "Maak het gezellig." Maar er is een groot probleem: deze butler is nog niet goed in het zien van gevaar of raar gedrag in je huis.

Dit onderzoek, genaamd SmartBench, is als een strenge examinator die deze slimme butlers op de proef stelt. Hier is wat ze hebben ontdekt, verteld in simpele taal:

1. Het Probleem: De "Blinde Vlek" van de AI

Tot nu toe zijn slimme huizen vooral gericht op het uitvoeren van commando's ("Zet de thermostaat op 20 graden"). Maar een echt slim huis moet ook kunnen zeggen: "Hee, wacht even! De airco staat aan terwijl de verwarming ook aan staat, en de deur staat open terwijl je op vakantie bent!"

Dit noemen we anomalieën (raar gedrag). De onderzoekers wilden weten: Kunnen deze super-intelligente computers dit soort gevaarlijke situaties zien en uitleggen waarom het raar is?

2. De Oplossing: SmartBench (De "Valkuilen" Test)

Om dit te testen, hebben de onderzoekers SmartBench gemaakt. Dit is een enorme verzameling van testcases, alsof ze een "trainingsveld" met valkuilen hebben gebouwd.

• Het is een simulatie: Ze hebben geen echte huizen gebruikt (dat is te duur en gevaarlijk), maar een virtuele wereld met 62 verschillende apparaten (van de koelkast tot de slimme sloten).
• Twee soorten tests:
  1. De Foto-test (Context-onafhankelijk): Je geeft de AI een foto van de staat van alle apparaten op één moment. Voorbeeld: De airco is aan, de verwarming is aan. Is dit raar? Ja!
  2. De Videotest (Context-afhankelijk): Je geeft de AI een video van wat er de hele dag gebeurd is. Voorbeeld: De bewoner vertrekt, maar de kraan in de keuken blijft urenlang open staan. Is dit raar? Ja!

In totaal hebben ze 4.400 scenarios gemaakt, waarvan de helft normaal en de helft met opzet "gebroken" of gevaarlijk.

3. De Resultaten: De AI faalt op het examen

De onderzoekers hebben 13 van de slimste AI-modellen ter wereld (zoals GPT-5, Claude, Gemini) op deze test gezet. Het nieuws is niet goed:

• Ze zien het gevaar niet: De meeste modellen halen een onvoldoende. Ze missen vaak de gevaarlijke situaties.
• Ze zijn te bang (of te lui): Soms denken ze dat er iets mis is als er niets aan de hand is (veel vals alarm), of ze zien een echt gevaar over het hoofd.
• Ze kunnen het niet uitleggen: Zelfs als ze toevallig zeggen "Er is iets mis", kunnen ze vaak niet goed uitleggen waarom. Het is alsof ze zeggen: "Ik heb een slecht gevoel," zonder te kunnen zeggen: "De kraan loopt leeg."

Een grappige vergelijking:
Stel je voor dat je een auto hebt die perfect kan rijden (de AI die commando's uitvoert), maar die geen remmen heeft en geen spiegels. Als er een kind voor de auto loopt (een anomalie), ziet de auto het niet, of denkt dat het een schaduw is. SmartBench laat zien dat onze "slimme" huizen nog steeds blind zijn voor gevaar.

4. Waarom is dit zo moeilijk?

De onderzoekers ontdekten een paar redenen waarom deze slimme computers het niet kunnen:

• Te veel informatie: Als je een video van een hele dag geeft, "verdwijnt" het belangrijke detail in het midden van de tekst. De AI vergeet de kraan die open stond, omdat ze te veel andere dingen hebben gelezen.
• Grootte helpt niet altijd: Je zou denken dat een grotere, slimmere computer het beter doet. Dat is deels waar, maar zelfs de grootste modellen (die miljoenen keren slimmer zijn dan een mens) halen hier nog geen 80% goed. Ze missen de "gezonde verstand" logica.
• Samenhang is lastig: De AI ziet de airco en de verwarming als twee losse dingen. Het kost hen moeite om te begrijpen dat ze samen een probleem vormen (energieverspilling of brandgevaar).

5. Wat betekent dit voor de toekomst?

De boodschap is duidelijk: We zijn nog niet klaar om AI volledig te vertrouwen met de veiligheid van ons huis.

Als we straks een slimme butler willen die ons huis echt veilig houdt, moeten we eerst veel beter leren hoe deze AI's "gevaar" begrijpen. SmartBench is de eerste stap om dit te meten en te verbeteren. Het is als een rijexamen voor AI's: momenteel halen ze allemaal het examen niet, en dat is een goed teken, want het betekent dat we nog moeten werken voordat we ze echt de sleutels van het huis geven.

Kortom: Onze slimme huizen kunnen momenteel goed praten en luisteren, maar ze zijn nog te dom om te zien als er brand dreigt of als de inbreker de deur openzet. SmartBench is de test die dit hardop zegt.

Technische samenvatting

Probleemstelling

Hoewel Large Language Models (LLMs) veelbelovend zijn voor slimme huisassistenten vanwege hun vermogen om gebruikersintenties te begrijpen en instructies uit te voeren, wordt een kritieke functie vaak over het hoofd gezien: het detecteren van anomalieën in de huisomgeving. Anomalieën kunnen ontstaan door:

• Fouten van gebruikers (bijv. verwarming en airconditioning tegelijkertijd aan).
• Apparaatstoringen (bijv. een kraan die blijft lopen).
• Kwaliteitsproblemen of veiligheidsrisico's (bijv. een onbeveiligd raam terwijl niemand thuis is).

Bestaande onderzoek richt zich voornamelijk op het interpreteren van commando's, niet op het proactief waarnemen van abnormale toestanden. Het is uitdagend om deze anomalieën te detecteren omdat ze vaak contextafhankelijk zijn (afhankelijk van tijdreeksen, huisbewonersprofielen en omgevingsparameters) en omdat een goede assistent niet alleen een waarschuwing moet geven, maar ook de oorzaak moet kunnen verklaren en actievere adviezen moet bieden. Er ontbreekt echter een gestructureerde benchmark om het vermogen van LLMs om deze specifieke taken uit te voeren, objectief te evalueren.

Methodologie: SmartBench

De auteurs introduceren SmartBench, het eerste dataset en benchmark specifiek ontworpen voor het evalueren van LLMs in slimme huis-scenario's met een focus op anomaliedetectie.

1. Dataset Constructie:
De dataset bevat in totaal 4.400 samples, verdeeld in twee hoofdcategorieën:

• Context-onafhankelijke anomalieën: Dit zijn momentopnames (snapshots) van de toestanden van 62 IoT-apparaten en omgevingsparameters (temperatuur, vochtigheid, etc.) op een specifiek tijdstip. De taak is om op basis van deze statische staat anomalieën te identificeren.
• Context-afhankelijke anomalieën: Dit zijn tijdreeksen van apparaattransities (sequentie van acties met timestamps). Deze vereisen het begrijpen van causale relaties en temporele evolutie. De dataset bevat ook hoog-niveau informatie zoals het huisprofiel (bijv. "alleenstaande werknemer", "familie op vakantie").

Om de dataset te creëren, gebruikten de auteurs een drie-staps proces:

• Constructie van normale samples: Gebaseerd op openbare datasets en gegenereerd via LLMs (GPT-5) op basis van dagelijkse scenario's.
• Compliance-validatie: Geautomatiseerde en handmatige controle om te waarborgen dat de gegenereerde data logisch consistent is (geen hallucinaties, juiste tijdsintervallen, semantische consistentie).
• Anomalie-injectie: Anomalieën werden geconstrueerd door minimale bewerkingen toe te passen op normale samples (zoals het toevoegen van een conflictende staat, het verwijderen van een noodzakelijke actie, of het verschuiven van tijdstippen) om realistische, maar abnormale situaties te creëren.

2. Evaluatiemetrics:
Naast standaard classificatiemetrics (Accuracy, Precision, Recall, F1-score, False Positive Rate) introduceerden de auteurs twee specifieke metrics voor de kwaliteit van de redenering:

• Anomaly Location Score (AL Score): Meet hoe goed het model de specifieke apparaten kan lokaliseren die verantwoordelijk zijn voor de anomalie (gebaseerd op Jaccard-similariteit).
• Attribution Consistency Score (AC Score): Evalueert de semantische overeenkomst tussen de uitleg van het model en de menselijke grondwaarheid (ground truth), gescoord door een andere LLM (GPT-5-mini).

3. Experimenten:
De auteurs evalueerden 13 state-of-the-art LLMs (zowel open-source als gesloten, waaronder Llama-3.1, DeepSeek, GPT-5, Gemini en Claude-4.5) op deze benchmark. Ze onderzochten ook de impact van modelgrootte, contextcompressie en In-Context Learning (ICL).

Belangrijkste Resultaten

De experimentele resultaten tonen aan dat huidige LLMs nog niet klaar zijn voor betrouwbare anomaliedetectie in slimme huizen:

• Algemene prestaties: De meeste modellen presteren slecht. De beste prestatie op context-onafhankelijke taken werd behaald door Gemini-3 met een F1-score van 79,3%. Op context-afhankelijke taken daalt dit, waarbij Gemini-2.5 de beste score behaalde met 67,6%, maar met een zeer hoge False Positive Rate (78,2%), wat betekent dat het systeem vaak ten onrechte alarm slaat.
• Slechte localisatie: Zelfs wanneer modellen een anomalie detecteren, kunnen ze de oorzaak vaak niet correct lokaliseren. De AL Scores zijn over het algemeen laag (gemiddeld 0,221 voor context-afhankelijke taken), wat aangeeft dat modellen vaak normale apparaten ten onrechte als verdacht markeren.
• Gebrek aan redenering: De AC Scores tonen aan dat zelfs de beste modellen moeite hebben om coherente en accurate uitleggen te geven over waarom een situatie abnormaal is. Slechts een klein percentage van de uitleggen bereikte een acceptabel kwaliteitsniveau.
• Invloed van schaal: Het vergroten van de modelgrootte (bijv. van 8B naar 405B parameters) leidt tot enige verbetering, maar lost de fundamentele problemen niet op. Zelfs zeer grote modellen presteren onder de verwachtingen voor een productieve slimme assistent.
• Invloed van context: Modellen presteren beter op korte, statische inputs (context-onafhankelijk) dan op lange tijdreeksen. Contextcompressie helpt wel om de token-kost te verlagen, maar verbetert de detectieprestaties niet significant.

Bijdragen

1. Eerste Benchmark: SmartBench is het eerste dataset dat specifiek is ontworpen om LLMs te testen op hun vermogen om anomalieën in slimme huisomgevingen te detecteren en te verklaren.
2. Uitgebreide Taxonomie: De dataset dekt een breed scala aan anomalieën (15 categorieën), waaronder veiligheidsrisico's, apparaatstoringen, fysieke conflicten en contextuele inconsistenties, zowel statisch als dynamisch.
3. Kritische Evaluatie: Het paper levert het eerste empirische bewijs dat huidige SOTA-LLMs nog niet betrouwbaar genoeg zijn voor autonome anomaliedetectie in kritieke domeinen zoals thuisveiligheid, vooral wat betreft het lokaliseren van de oorzaak en het geven van actiegerichte adviezen.

Betekenis en Conclusie

Dit onderzoek benadrukt een significant gat tussen de huidige capaciteiten van LLMs en de eisen voor een volledig geïntegreerde, veilige slimme huisassistent. Hoewel LLMs goed zijn in het uitvoeren van commando's, falen ze in het proactief waarnemen van complexe, contextuele risico's in de fysieke wereld.

De conclusie is dat schaalvergroting alleen niet voldoende is om deze problemen op te lossen. Toekomstig onderzoek moet zich richten op het verbeteren van redeneervermogen, causale inferentie en het integreren van specifieke domeinkennis in LLM-architecturen. SmartBench biedt een essentiële basis voor het ontwikkelen van de volgende generatie slimme assistenten die daadwerkelijk de veiligheid en betrouwbaarheid van onze leefomgeving kunnen garanderen.