InCarEmo: A Multimodal Dataset for In-Cabin Emotion Recognition and Driver State Monitoring
Das Paper stellt InCarEmo vor, einen umfassenden multimodalen Datensatz, der RGB-, Infrarot-, Audio- und Dialogtext aus skriptbasierten Fahrgastzellen-Szenarien integriert, um die Erkennung von Emotionen des Fahrers, Müdigkeitserkennung und Ablenkungsüberwachung voranzutreiben und gleichzeitig die Einschränkungen bestehender rein visueller Datensätze zu adressieren.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie fahren ein Auto, aber anstatt nur eines Lenkrads und Pedale zu besitzen, beginnt Ihr Fahrzeug, eine Persönlichkeit zu entwickeln. Es möchte wissen, ob Sie glücklich, müde oder abgelenkt sind, um Ihnen helfen zu können, sicher zu bleiben. Dies ist die Welt des „Affective Computing“ – ein schicker Begriff dafür, Computern beizubringen, menschliche Gefühle zu verstehen. Stellen Sie es sich wie einen superintelligenten Co-Piloten vor, der nicht nur die Straße liest, sondern auch Sie liest. Lange Zeit haben Wissenschaftler versucht, diesen Co-Piloten aufzubauen, indem sie Ihr Gesicht betrachteten oder Ihrer Stimme lauschten. Aber es gibt ein Problem: Die meisten Trainingsdaten, die sie verwendet haben, sind wie ein Schwarz-Weiß-Film. Sie zeigen entweder nur das Gesicht oder hören nur die Stimme, und sie ignorieren oft die Tatsache, dass wir beim Autofahren meistens mit jemandem oder etwas anderem sprechen. Es ist, als würde man versuchen, einen Witz zu verstehen, indem man nur auf den Mund einer Person schaut, ohne die Pointe zu hören. Um ein wirklich sicheres und empathisches Auto zu erschaffen, müssen wir das ganze Bild verstehen: das Gesicht, die Stimme, die Worte und sogar die Stimmung des Gesprächs.
Hier kommt InCarEmo ins Spiel, ein neues Projekt von Forschern des Harbin Institute of Technology und SERES, das so wirkt, als würde man dem Computer des Autos einen vollfarbigen Surround-Sound-Film des echten Autofahrerlebens überreichen. Das Team erkannte, dass bestehende Datensätze ein entscheidendes Puzzleteil vermissen ließen: das eigentliche Gespräch, das sich im Auto abspielt. Sie erstellen eine massive neue Bibliothek von Daten namens InCarEmo, die Fahrer nicht nur beim Blick auf die Straße erfasst, sondern auch beim Plaudern über den Verkehr, beim Planen von Ausflügen oder beim Diskutieren über das Auto selbst. Sie zeichneten diese Momente mit hochauflösenden Kameras (sowohl regulären als auch Infrarotkameras, die im Dunkeln sehen können), hochwertigen Mikrofonen und transkribierten sogar die exakten gesprochenen Worte auf.
Die Arbeit stellt diesen Datensatz als Werkzeug für drei Hauptaufgaben vor: herauszufinden, welche Emotion ein Fahrer fühlt (wie Wut oder Angst), festzustellen, ob er zu müde zum Fahren wird, und zu bemerken, ob er durch sein Telefon oder ein Getränk abgelenkt ist. Um zu testen, ob diese neuen Daten funktionieren, entwickelten die Forscher ein leichtgewichtiges KI-Modell namens CAMEL. Sie fanden heraus, dass die KI wesentlich besser darin war, den Zustand des Fahrers zu erraten, wenn sie alle Informationen zusammen verwendete – Sicht, Ton und Worte – als wenn sie nur einen Sinn nutzte. Beispielsweise halfen die Audio- und Text Hinweise der KI, die Genauigkeit auch unter schlechten Lichtverhältnissen beizubehalten, wenn eine Kamera Schwierigkeiten hätte. Die Studie erstellte auch eine spezielle englische Version der Daten, um Forschern aus verschiedenen Ländern die Zusammenarbeit zu ermöglichen, merkte jedoch an, dass die Übersetzung von Emotionen über Sprachen hinweg schwierig ist. Letztendlich legt die Arbeit nahe, dass wir, indem wir der KI eine reichere, realistischere Sicht auf die Welt des Fahrers geben, Autos bauen können, die nicht nur intelligent, sondern auch wirklich verständnisvoll und sicherer für alle auf der Straße sind.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.