EdgeWisePersona: A Dataset for On-Device User Profiling from Natural Language Interactions

Stellen Sie sich ein Zuhause vor, das Sie nicht nur durch die Befehle kennt, die Sie geben, sondern durch den Rhythmus Ihres Lebens. Es versteht, dass Sie es bevorzugen, das Licht zu dimmen und die Luft kühl zu halten, wenn die Sonne an einem regnerischen Abend untergeht, oder dass Sie die Lautstärke des Fernsehers nur dann aufdrehen, wenn Sie allein sind. Damit eine solche Intelligenz funktionieren kann, muss ein Gerät ein detailliertes Porträt seines Besitzers erstellen und aus jahrelangen Gesprächen und Gewohnheiten lernen. Die Herausforderung liegt darin, wo dieses Lernen stattfindet. Jahrelang haben sich Smart-Geräte auf massive, weit entfernte Computerserver in der Cloud verlassen, um diese Muster zu verarbeiten. Dieser Ansatz funktioniert gut, aber er sendet sensible persönliche Daten über das Internet, was Datenschutzrisiken und Verzögerungen schafft. Die neue Grenze der künstlichen Intelligenz zielt darauf ab, diese Denkleistung direkt auf das Gerät selbst zu verlagern – das Telefon, das Tablet oder den Lautsprecher in Ihrem Wohnzimmer. Dieser Wandel verspricht sofortige Reaktionen und totale Privatsphäre, ist aber mit einer hohen Hürde verbunden: Die kleinen Chips in diesen Geräten sind weitaus weniger leistungsfähig als die riesigen Server, die sie ersetzen. Die Frage, der sich Forscher nun stellen müssen, ist, ob ein winziger, effizienter Computer tatsächlich in der Lage ist, die komplexen Gewohnheiten eines Menschen zu erlernen, ohne einen riesigen Server um Hilfe bitten zu müssen.

Ein Team von Forschern bei TCL Research Europe in Warschau hat diese Frage angegangen, indem es ein neues Testfeld namens EdgeWisePersona geschaffen hat. Sie bauten eine massive Sammlung simulierter Gespräche zwischen Menschen und ihren Smart-Home-Systemen auf, die speziell darauf ausgelegt war, zu prüfen, ob kleine Computer direkt auf dem Gerät herausfinden können, wer der Nutzer ist, indem sie einfach nur zuhören, was er sagt. Die Forscher verließen sich nicht auf reale Daten, die unordentlich und inkonsistent sein können. Stattdessen nutzten sie eine leistungsstarke künstliche Intelligenz, um zehntausend unterschiedliche Gespräche mit zweihundert verschiedenen fiktiven Nutzern zu generieren. Jedem dieser Nutzer wurde ein geheimes, strukturiertes „Profil“ zugewiesen, das seine Gewohnheiten definierte. Diese Profile waren nicht nur einfache Vorlieben wie „Ich mag blaues Licht“. Es waren komplexe Sätze von Regeln oder Abläufen, die spezifische Situationen mit spezifischen Handlungen verknüpften. Zum Beispiel könnte ein Nutzer eine Routine haben, die besagt: „Wenn es Abend ist, das Wetter regnerisch und die Temperatur warm, dann stelle das Licht im Wohnzimmer auf eine warme Farbe ein und stelle die Klimaanlage auf eine bestimmte niedrige Geschwindigkeit.“ Die Forscher speisten diese Profile dann in die KI ein, um natürliche, fließende Dialoge zu generieren, in denen die Nutzer ihre Geräte aufforderten, Einstellungen zu ändern, oft ohne die zugrunde liegende Regel explizit zu nennen.

Die Kernaufgabe der Studie bestand darin, zu sehen, ob ein Computer diese Gespräche analysieren und die verborgenen Regeln rekonstruieren kann. Die Forscher baten verschiedene Modelle der künstlichen Intelligenz, den Chatverlauf zu lesen und die Routinen des Nutzers aufzuschreiben. Sie testeten diese Fähigkeit an zwei Arten von Modellen: den riesigen, cloudbasierten Systemen, die derzeit die fortschrittlichste KI antreiben, und den kleineren, kompakten Modellen, die für Mobiltelefone und Tablets konzipiert sind. Die Ergebnisse waren eindeutig und aufschlussreich. Die großen, cloudbasierten Modelle waren für diese Aufgabe bemerkenswert gut geeignet. Sie konnten die Gespräche lesen und die komplexen Regeln präzise rekonstruieren sowie die Tageszeit, die Wetterbedingungen und die spezifischen Geräteeinstellungen mit hoher Genauigkeit erraten. Sie verstanden die subtilen Verbindungen zwischen einem regnerischen Abend und dem Wunsch nach einer gemütlichen Atmosphäre.

Die kleineren Modelle hingegen hatten erheblich zu kämpfen. Obwohl sie manchmal die allgemeine Vorstellung davon erfassen konnten, was ein Nutzer wollte, scheiterten sie daran, die präzisen Details zu erfassen, die ein Smart Home wirklich intelligent machen. Wenn sie gefragt wurden, die exakte Temperatureinstellung oder die spezifische Lautstärke zu vorhersagen, die ein Nutzer bevorzugte, lagen die kleinen Modelle oft weit daneben. Sie waren besser darin, die breite Kategorie einer Anfrage zu erraten, wie zum Beispiel zu wissen, dass ein Nutzer das Licht anhaben wollte, aber sie wählten häufig die falsche Helligkeit. In vielen Fällen konnten die kleinen Modelle nicht zwischen einem Nutzer unterscheiden, der die Klimaanlage auf „kühl“ oder auf „automatisch“ haben wollte, oder sie raten das falsche Wochentag für eine Routine. Die Leistungslücke war eklatant: Die großen Modelle konnten das gesamte Verhaltensmuster eines Nutzers mit hoher Genauigkeit rekonstruieren, während die kleinen Modelle oft nur teilweise korrekte Vermutungen anstellten oder völlig daneben lagen.

Diese Leistungslücke verdeutlicht eine große Herausforderung für die Zukunft der datenschutzorientierten Technologie. Die Forscher fanden heraus, dass kleine Modelle zwar die Fähigkeit besitzen, aus Gesprächen zu lernen, aber noch nicht bereit sind, die großen Systeme für komplexe Aufgaben wie das Verständnis menschlicher Gewohnheiten zu ersetzen. Die Studie legt nahe, dass ein Gerät, um die Routine eines Nutzers wirklich zu kennen – also genau zu wissen, wie es Licht, Temperatur und Klang basierend auf einer Kombination aus Wetter, Zeit und Stimmung anpassen muss –, derzeit die Rechenleistung eines großen Modells benötigt. Die kleinen Modelle sind wie Schüler, die einige Fakten auswendig lernen können, aber noch nicht in der Lage sind, die Punkte zu verbinden, um eine komplexe Geschichte zu verstehen. Die Forscher merkten an, dass dies kein Versagen des Konzepts ist, sondern eine Limitation der aktuellen Technologie. Die kleinen Modelle sind zwar in der Lage, auf einem Telefon zu laufen, aber es fehlt ihnen die Tiefe, um das komplizierte Geflecht aus Ursache und Wirkung zu erfassen, das einen menschlichen Lebensstil definiert.

Die Studie untersuchte auch die spezifischen Arten von Informationen, die die Modelle erraten mussten. Sie fanden heraus, dass das Vorhersagen der „Trigger“ einer Routine – wie etwa die Tageszeit oder das Wetter – für die kleinen Modelle einfacher war als das Vorhersagen der „Aktionen“, also der spezifischen Änderungen, die an den Geräten vorgenommen werden. Es war für ein kleines Modell einfacher zu erraten, dass ein Nutzer am Abend das Licht anhaben wollte, als zu erraten, dass der Nutzer das Licht auf exakt 40 Prozent Helligkeit stellen wollte. Dies deutet darauf an, dass kleine Geräte zwar irgendwann einfache Befehle handhaben könnten, die nuancierte Steuerung, die für ein wirklich personalisiertes Zuhause erforderlich ist, jedoch vorerst unerreichbar bleibt. Die Forscher betonten, dass ihre Arbeit eine Simulation war, bei der generierte Daten verwendet wurden, um die Grenzen dieser Modelle zu testen. Sie haben dies nicht an echten Menschen in echten Häusern getestet, daher spiegeln die Ergebnisse wider, wie gut die Modelle mit strukturierten Daten umgehen können, und nicht unbedingt, wie sie in der chaotischen Realität eines belebten Hauses agieren würden.

Trotz der Einschränkungen stellt der EdgeWisePersona-Datensatz einen entscheidenden Schritt nach vorne dar. Er bietet eine klare, strukturierte Möglichkeit, Fortschritte in diesem Bereich zu messen. Indem die Forscher genau definiert haben, was eine „Routine“ ausmacht und wie sie rekonstruiert werden sollte, haben sie der wissenschaftlichen Gemeinschaft ein Standardmaß gegeben, um zukünftige Verbesserungen zu messen. Die Arbeit zeigt, dass der Traum von einer privaten, gerätebasierten Intelligenz, die Ihre Gewohnheiten lernt, theoretisch möglich ist, die Technologie jedoch noch nicht so weit ist. Die kleinen Modelle müssen wesentlich besser darin werden, die subtilen Details menschlichen Verhaltens zu verstehen, bevor man ihnen vertrauen kann, ein Zuhause ohne eine Cloud-Verbindung zu steuern. Bis dahin bleibt der präziseste Weg, das Leben eines Nutzers zu verstehen, bei den großen, leistungsstarken Systemen in der Cloud. Der Weg nach vorn besteht darin, die Lücke zwischen den kleinen und den großen Modellen zu schließen und sicherzustellen, dass die Privatsphäre und Geschwindigkeit von On-Device-Computing nicht auf Kosten der Intelligenz gehen, die erforderlich ist, um ein Zuhause wirklich persönlich wirken zu lassen.