A Platform-Agnostic Multimodal Digital Human Modelling Framework: Neurophysiological Sensing in Game-Based Interaction

Dieser Beitrag stellt ein plattformunabhängiges Framework für die digitale Menschmodellierung vor, das mithilfe des OpenBCI Galea-Headsets multimodale Neurophysiologiedaten in einer reproduzierbaren SuperTux-Spielumgebung erfasst und strukturiert bereitstellt, um zukünftige ethisch genehmigte KI-Forschung im Bereich Barrierefreiheit und Interaktionsdesign zu ermöglichen, ohne dabei eigene KI-Inferenzmodelle zu integrieren.

Das Wesentliche

Stellen Sie sich vor, Sie bauen ein hochmodernes Labor, in dem Wissenschaftler untersuchen können, wie Menschen mit Computern interagieren – aber ohne dabei vorschnell zu urteilen, was die Leute gerade fühlen oder denken.

Dieser Papier beschreibt genau ein solches Labor. Es ist ein Baukasten-System (ein Framework), das entwickelt wurde, um digitale Menschenmodelle zu erstellen, die für jeden geeignet sind – egal ob mit oder ohne Behinderung.

Hier ist die Erklärung in einfachen Worten, mit ein paar kreativen Vergleichen:

1. Das Problem: Zu viele "Einzelbaustellen"

Bisher waren viele solcher Systeme wie maßgeschneiderte Anzüge, die nur für eine einzige Person und einen einzigen Zweck passten. Wenn man sie ändern wollte, musste man sie komplett neu nähen. Das machte es schwer, Ergebnisse zu wiederholen oder ethisch einwandfrei zu nutzen. Außerdem war oft alles in einem Topf: Die Sensoren, das Spiel und die Auswertung waren so eng verstrickt, dass man nicht wusste, ob man wirklich die Daten oder nur die Interpretation der Forscher sah.

2. Die Lösung: Ein universeller "Steckdosen-Adapter"

Die Autoren haben ein System gebaut, das wie ein universeller Reiseadapter funktioniert.

• Plattform-unabhängig: Es spielt keine Rolle, welche Hardware (Sensoren) oder welche Software (Spiele) Sie anschließen. Das System passt sich an.
• Trennung der Aufgaben: Das ist der wichtigste Teil. Das System trennt strikt drei Dinge, die vorher oft vermischt waren:
  1. Das Messen (Sensoren am Körper).
  2. Das Tun (Was macht der Nutzer im Spiel?).
  3. Das Interpretieren (Was bedeutet das?).

Stellen Sie sich das wie ein Küchenteam vor:

• Der eine Koch (Sensoren) sammelt nur Zutaten (Daten) und wiegt sie ab.
• Der andere Koch (Interaktionsmodell) schreibt auf, welche Zutaten in welche Schüssel kommen.
• Der dritte Koch (KI/Analyse) darf erst später und nur mit Erlaubnis entscheiden, was aus dem Gericht wird.
• Wichtig: Niemand schmeckt vorzeitig ab oder behauptet, das Essen sei "traurig" oder "glücklich", bevor es fertig ist.

3. Die Werkzeuge: Ein "Super-Helm" und ein "Eisbär-Spiel"

Um das System zu testen, haben die Forscher zwei Dinge genutzt:

• Der Helm (OpenBCI Galea): Das ist wie ein Super-Helm, der nicht nur den Kopf schützt, sondern wie ein schwatzender Freund viele Daten gleichzeitig aufzeichnet: Gehirnwellen (EEG), Muskelspannung (EMG), Augenbewegungen (EOG), Herzschlag (PPG) und sogar, wie der Kopf wackelt (Bewegungssensoren).
• Das Spiel (SuperTux): Sie haben ein einfaches, bekanntes Videospiel (ähnlich wie Mario, aber mit einem Pinguin namens Tux) verwendet. Warum? Weil Spiele wie ein perfekter Zeitplan sind. Man weiß genau, wann ein Sprung passiert, wann eine Münze gesammelt wird und wann man gegen einen Gegner läuft. Das gibt den Forschern klare Zeitpunkte, um die Sensordaten mit dem Spielgeschehen zu verknüpfen.

4. Der große Vorteil: Inklusion ohne Umbau

Das Geniale an diesem System ist, dass es barrierefrei von Grund auf gedacht ist.

• Wenn ein Teilnehmer motorische Schwierigkeiten hat, kann man im Spiel einfach die Tastenbelegung ändern oder die Zeitlimits anpassen.
• Das System muss dafür nicht umgebaut werden. Es ist wie ein flexibles Gerüst: Man kann die Wände verschieben, um mehr Platz zu schaffen, aber das Fundament bleibt stabil.
• Das ermöglicht Forschung für Menschen mit unterschiedlichsten Bedürfnissen, ohne dass jedes Mal ein neues, teures System gebaut werden muss.

5. Was haben die Forscher eigentlich gemacht? (Wichtig!)

Hier ist der entscheidende Punkt: Sie haben noch gar keine Menschen getestet.
Die Autoren haben sich selbst als "Versuchskaninchen" benutzt, nur um zu prüfen, ob die Technik funktioniert (ob die Daten fließen und synchron sind).

• Sie haben keine Schlussfolgerungen über Gefühle oder Gedanken gezogen.
• Sie haben keine Behinderungen diagnostiziert.
• Sie haben nur gesagt: "Unsere Rohre sind dicht, unsere Uhren ticken synchron, und wir haben einen sicheren Weg gebaut, um in Zukunft ethisch einwandfreie Studien durchzuführen."

Zusammenfassung

Dieses Papier ist wie der Bauplan für ein neues, faires Labor. Es sagt: "Wir bauen eine Infrastruktur, die sicher, flexibel und ethisch sauber ist. Sie trennt das reine Messen von der Interpretation. So können wir in Zukunft Forschung betreiben, die wirklich für alle Menschen geeignet ist, ohne dass wir vorschnell urteilen oder die Technik an eine einzige Aufgabe fesseln."

Es ist nicht das fertige Gericht, sondern der perfekte Herd und die besten Töpfe, damit andere Köche (Forscher) später köstliche und faire Gerichte (Studien) zaubern können.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „A Platform-Agnostic Multimodal Digital Human Modelling Framework: Neurophysiological Sensing in Game-Based Interaction" auf Deutsch:

Technische Zusammenfassung

1. Problemstellung
Das Paper adressiert die aktuellen Herausforderungen im Bereich des Digital Human Modelling (DHM) und der multimodalen Mensch-Computer-Interaktion (HCI). Obwohl Fortschritte in der KI und tragbaren Biosensorik die Modellierung menschlicher Interaktionen erweitert haben, bestehen folgende kritische Limitationen:

• Starke Kopplung: Viele bestehende Ansätze sind eng an spezifische Plattformen, Aufgaben oder Interpretationspipelines gebunden. Dies schränkt die Reproduzierbarkeit, Skalierbarkeit und ethische Wiederverwendbarkeit von Daten ein.
• Ethische Vermischung: Oft werden physiologische Signale direkt mit Rückschlüssen auf kognitive oder emotionale Zustände verknüpft, ohne eine klare Trennung zwischen Datenerfassung und Interpretation. Dies ist besonders problematisch in sensiblen Bereichen wie der Barrierefreiheit.
• Mangelnde Flexibilität: Die Anpassung von Interaktionsaufgaben an diverse motorische, sensorische oder kognitive Bedürfnisse erfordert häufig eine komplette Neuentwicklung des Systems.

2. Methodik und Architektur
Die Autoren stellen ein plattformagnostisches Framework vor, das durch eine modulare Abstraktionsarchitektur die Bereiche Sensing (Erfassung), Interaktionsmodellierung und Inferenzbereitschaft (KI-Auswertung) strikt voneinander trennt.

• Sensing-Schicht (Datenerfassung):

  • Als einheitliche Sensorebene wird das OpenBCI Galea Headset integriert.
  • Es erfasst parallele Datenströme von:
    • EEG (Elektroenzephalografie)
    • EMG (Elektromyografie)
    • EOG (Elektrookulografie)
    • PPG (Photoplethysmografie)
    • Inertialsensoren (IMU: Beschleunigung, Gyroskop, Magnetometer).
  • Die Signale werden als strukturierte, zeitlich ausgerichtete Beobachtungsdaten (Observables) behandelt, ohne dass eine vorab definierte Bedeutung oder Diagnose in die Hardware- oder Treiberebene eingebettet ist.

• Abstraktions- und Synchronisationsschicht:

  • Alle Datenströme werden mit Zeitstempeln versehen.
  • Eine Synchronisation erfolgt auf der Abstraktionsebene durch zeitgestempelte Ereignismarker, die physiologische Daten mit Interaktionsereignissen verknüpfen.
  • Dies ermöglicht eine konsistente Ausrichtung heterogener Sensoren, unabhängig von der spezifischen Hardware oder Software.

• Interaktionsmodellierung:

  • Als Interaktionsumgebung dient das Open-Source-Spiel SuperTux.
  • Spielaktionen werden in computational Task Primitives (z. B. Bewegungssequenzen, Timing-Ereignisse, Fortschrittsmarker, Fehler/Erholung) abstrahiert.
  • Diese Primitiven sind unabhängig vom Spiel-Engine oder der Sensoren-Hardware und dienen als neutrale Deskriptoren der Aufgabenbewältigung, nicht als Leistungsmaße.

3. Wichtige Beiträge

• Architektonische Trennung: Der Hauptbeitrag liegt nicht in neuen Algorithmen oder Metriken, sondern in der Architektur, die Datenerfassung, Modellierung und Inferenz entkoppelt. Dies schafft eine wiederverwendbare Infrastruktur für zukünftige, ethisch genehmigte Studien.
• Plattformagnostizismus: Das Framework ermöglicht den Austausch von Sensoren, Spielen oder Analyse-Tools ohne Änderungen am Kernsystem.
• Ethische Abgrenzung: Durch die explizite Trennung von „Beschreibung" (Daten) und „Interpretation" (Inferenz) wird verhindert, dass physiologische Daten vorzeitig als diagnostische Indikatoren missverstanden werden.
• Barrierefreiheit als Design-Prinzip: Die Architektur erlaubt es, Interaktionsaufgaben (z. B. Eingabeanforderungen, Timing) an die Bedürfnisse von Teilnehmern mit Einschränkungen anzupassen, ohne die Sensing- oder Synchronisationslogik ändern zu müssen.

4. Ergebnisse und Validierung

• Keine Human-Subjekt-Studie: Das Paper berichtet ausdrücklich über keine Forschung mit menschlichen Probanden und leitet keine Verhaltens-, emotionalen oder barrierefreien Ergebnisse ab.
• Technische Verifikation: Die Validierung erfolgte ausschließlich durch Selbstinstrumentierung der Autoren.
  • Es wurde die Datenintegrität, die Kontinuität der Datenströme und die zeitliche Synchronisation zwischen Galea-Headset und SuperTux bestätigt.
  • Die technische Funktionalität des End-to-End-Pipelines wurde nachgewiesen.
• Skalierbarkeit: Es wurde gezeigt, dass das modulare Design eine Skalierung auf größere Studien oder zusätzliche Sensoren ermöglicht, indem jeder Datenstrom als unabhängige, zeitgestempelte Quelle behandelt wird.

5. Bedeutung und Ausblick
Dieses Framework stellt eine kritische Infrastruktur für die zukünftige Forschung im Bereich DHM und HCI dar, insbesondere im Kontext von Inklusion und Barrierefreiheit.

• Reproduzierbarkeit: Es bietet eine standardisierte Basis, die es verschiedenen Forschungsgruppen ermöglicht, Studien unter ethisch genehmigten Bedingungen durchzuführen, ohne proprietäre Pipelines neu entwickeln zu müssen.
• Zukunftssicherheit: Das System ist darauf ausgelegt, adaptive Systeme und KI-gestützte DHM-Studien zu unterstützen, wobei die ethischen Grenzen (keine vorzeitige Inferenz) gewahrt bleiben.
• Geplante Arbeiten: Zukünftige Schritte umfassen ethisch genehmigte Pilotstudien, um das Framework in angewandten Kontexten zu validieren, einschließlich longitudinaler Studien und vergleichender Untersuchungen verschiedener Interaktionsmodalitäten.

Zusammenfassend liefert das Paper einen fundamentalen Baustein für eine ethisch fundierte, flexible und wiederverwendbare Infrastruktur, die die Lücke zwischen komplexer physiologischer Datenerfassung und anwendungsorientierter, inklusiver Forschung schließt.