Das stille Flüstern: Worte ohne Klang einfangen

Stellen Sie sich vor, Sie versuchen, ein Gespräch in einer Bibliothek zu führen, die so leise ist, dass selbst ein Flüstern ein Echo erzeugen würde, oder vielleicht befinden Sie sich in einer Situation, in der lautes Sprechen unmöglich ist – vielleicht haben Sie Ihre Stimme verloren, oder Sie sind in einer lauten Fabrik, in der Sie niemand hören kann. Seit Jahrhunderten verlassen sich Menschen auf Schallwellen, um Gedanken zu teilen, aber was wäre, wenn wir sprechen könnten, ohne ein einziges Geräusch zu machen? Dies ist die Welt der Silent Speech Interfaces (SSIs) (Schnittstellen für stille Sprache). Betrachten Sie diese als einen geheimen Dekodierring für Ihren Mund. Anstatt auf Ihre Stimme zu hören, hören diese Geräte auf die winzigen, unsichtbaren Bewegungen Ihrer Lippen, Ihres Kiefers und Ihrer Kehle, wenn Sie „stumm“ sprechen.

Um dies zu erreichen, nutzen Wissenschaftler verschiedene Werkzeuge. Einige verwenden Kameras, um die Bewegung Ihrer Lippen zu beobachten, während andere Sensoren nutzen, die die elektrischen Impulse Ihrer Muskeln spüren. Aber es gibt ein neueres, cooleres Werkzeug: das Beschleunigungsmesser (Accelerometer). Sie kennen diese vielleicht von Ihrem Smartphone, das weiß, wann Sie das Telefon neigen oder schütteln. In dieser Forschung bringen Wissenschaftler winzige Beschleunigungsmesser an Ihrem Gesicht und Ihrem Hals an. Diese Sensoren kümmern sich weder um Elektrizität noch um Kameras; sie kümmern sich nur um Bewegung. Wenn Sie lautlos „Apfel“ sagen, senkt sich Ihr Kinn, Ihre Lippen formen sich und Ihr Hals bewegt sich. Der Beschleunigungsmesser spürt diesen winzigen Stoß und zeichnet ihn als eine wackelige Linie aus Daten auf. Die große Frage ist jedoch: Wo sollten Sie diese Sensoren platzieren? Wenn Sie sie alle an einem Ort platzieren, übersehen Sie vielleicht die Aktion. Wenn Sie zu viele verwenden, wird das Gerät zu einem schweren, unbequemen Durcheinander. Den perfekten Platz zu finden, ist wie der Versuch, den besten Sitzplatz in einem Theater zu finden, um die gesamte Show zu sehen, ohne dass einem der Nacken steif wird.

Die große Sensorensuche: Den idealen Punkt finden

In dieser Studie beschloss ein Forscherteam der Hanyang University, ein riesiges Spiel von „Wo ist Waldo?“ zu spielen, allerdings mit Sensoren im menschlichen Gesicht. Sie wollten herausfinden, was die effizienteste Art ist, Beschleunigungsmesser an der unteren Gesichtshälfte und am Hals einer Person anzubringen, um 100 verschiedene englische Wörter lautlos zu dekodieren. Sie haben nicht einfach geraten; sie testeten jede einzelne mögliche Kombination von zehn Sensoren. Stellen Sie sich vor, Sie haben zehn verschiedene Freunde und Sie möchten wissen, welche Gruppe von Freunden am besten zusammenarbeitet, um ein Rätsel zu lösen. Sie könnten Gruppen von eins, Gruppen von zwei testen, bis hin zu allen zehn. Genau das haben sie getan und dabei über 1.000 verschiedene Sensorkonfigurationen mit 20 Freiwilligen getestet.

Die Freiwilligen saßen vor einem Bildschirm und formten lautlos 100 Wörter wie „hallo“, „stopp“ oder „blau“, während sie die Sensoren trugen. Ein intelligentes Computerprogramm (eine Art künstliche Intelligenz namens Deep-Learning-Modell) versuchte dann zu erraten, welches Wort gerade lautlos gesprochen wurde, basierend auf den wackeligen Linien der Sensoren.

Hier ist, was sie fanden:

1. Mehr ist nicht immer besser (Das Gesetz des abnehmenden Ertrags)
Anfangs half es dem Computer, mehr Sensoren hinzuzufügen, um besser zu raten. Mit nur einem Sensor lag der Computer in etwa 75 % der Fälle richtig. Mit zwei Sensoren sprang die Genauigkeit auf über 80 %. Aber hier kommt die Wendung: Sobald sie fünf Sensoren erreichten, half das Hinzufügen weiterer Sensoren nicht mehr wirklich. Die Genauigkeit erreichte eine „Decke“ oder ein Plateau. Ob sie nun sechs, sieben oder alle zehn Sensoren verwendeten, die Verbesserung war so geringfügig, dass sie statistisch nicht signifikant war. Es ist wie beim Hinzufügen von mehr Köchen in eine Küche; ab einem gewissen Punkt stehen sie sich nur noch im Weg, ohne dass das Essen dadurch besser schmeckt.

2. Die Goldenen Fünf
Die Forscher fanden eine spezifische Gruppe von fünf Sensoren, die am besten funktionierte. Dieses „Traumteam“ bestand aus Sensoren, die an folgenden Stellen platziert waren:

• Dem Philtrum (der kleinen Vertiefung zwischen Nase und Oberlippe).
• Dem Bereich der Unterlippe/des Kinns (zwei Stellen).
• Der Kieferlinie (zwei Stellen).
• Dem Bereich unter dem Kinn/dem Hals.

Diese spezifische Mischung, bezeichnet als Sensoren {1, 4, 5, 7, 8}, erreichte eine Genauigkeit von 92,30 ± 4,64 %. Dies war fast so gut wie die Verwendung aller zehn Sensoren kombiniert, aber mit der Hälfte der Hardware.

3. Die „Verteilt“-Strategie
Die spannendste Entdeckung war nicht nur, wie viele Sensoren sie verwendeten, sondern wo sie platziert waren. Die Forscher gruppierten das Gesicht in drei „Zonen“ der Bewegung:

• Labial (Lippen): Wo sich die Lippen bewegen.
• Buccal-Mandibulär (Kiefer/Wange): Wo der Kiefer sich öffnet und schließt.
• Submental (Unter dem Kinn/Hals): Wo sich der Hals und die Zunge bewegen.

Sie entdeckten, dass die besten Sensor-Setups diejenigen waren, die sich über alle drei Zonen verteilten. Ein Setup, das alle fünf Sensoren nur an den Lippen platziert hatte (und Kiefer und Hals ignorierte), schnitt viel schlechter ab als ein Setup, das einen Sensor an den Lippen, zwei am Kiefer und zwei am Hals hatte. Es ist, als würde man versuchen, einen Film zu verstehen, indem man nur die Hände der Schauspieler beobachtet; man verpasst die Mimik und die Körpersprache. Um die „stille Sprache“ zu verstehen, muss man das ganze Bild sehen. Die besten Konfigurationen erfassten die „komplementären“ Informationen – das heißt, die Sensoren arbeiteten zusammen, um die Lücken zu füllen, die die anderen hinterließen.

4. Funktioniert es mit verschiedenen Wörtern?
Um sicherzustellen, dass dies kein Zufall war, wiederholte das Team das Experiment mit einer anderen Liste von 100 Wörtern. Die exakten Sensoren änderten sich leicht (ein Sensor am Kiefer wurde durch einen am Hals ersetzt), aber die Strategie blieb dieselbe: Die besten Ergebnisse ergaben sich immer aus der Verteilung der Sensoren über Lippen, Kiefer und Hals. Dies deutet darauf darauf hin, dass die „Verteilt“-Regel ein solider Leitfaden für den Bau dieser Geräte ist, unabhängig davon, welche Wörter man sagen möchte.

5. Die „Masken“-Idee
Schließlich fragte sich das Team: „Können wir das noch einfacher machen?“ Sie versuchten, ein Setup mit nur drei Sensoren zu finden, das dennoch alle drei Zonen abdeckte. Sie wählten einen Sensor von den Lippen, einen vom Kiefer und einen vom Hals. Dieses winzige Trio schaffte es immer noch, Wörter mit einer Genauigkeit von fast 90 % zu erraten. Dies ist eine große Sache, denn es deutet darauf hin, dass wir in Zukunft vielleicht eine einfache, bequeme Maske oder ein kleines Pflaster am Hals tragen könnten, das unsere stillen Gedanken dekodiert, ohne dass wir ein Dutzend Drähte und Sensoren im ganzen Gesicht kleben haben.

Was dies für die Zukunft bedeutet

Diese Arbeit hat nicht nur einen magischen Sensor gefunden; sie hat die Art und Weise verändert, wie wir über den Bau dieser Geräte nachdenken. Vor diesem Zeitpunkt kopierten Wissenschaftler oft die Platzierung von Sensoren von anderen Technologien (wie Muskelsensoren), ohne zu fragen, ob dies der beste Ort für Bewegungssensoren sei. Diese Studie bewies, dass für Beschleunigungsmesser die Position wichtiger ist als die Quantität.

Die Forscher schlagen vor, dass wir anstelle des Anhäufens von Sensoren sie so konzipieren sollten, dass sie „regional verteilt“ sind. Denken Sie an ein Sicherheitsteam: Man stellt nicht alle Wachen an die Vordertür; man setzt einige an den Hintereingang, einige an die Fenster und einige in die Lobby. Indem man die Sensoren über die verschiedenen beweglichen Teile des Mundes und des Halses verteilt, erhält das Gerät ein vollständiges 3D-Bild der stillen Sprache.

Obwohl die Studie mit spezifischen Personen und spezifischen Wörtern durchgeführt wurde, legen die Ergebnisse nahe, dass diese „Verteilt“-Strategie der Schlüssel zum Bau von Silent-Speech-Geräten ist, die klein, komfortabel und genau genug für das echte Leben sind. Ob für Menschen, die ihre Stimme verloren haben, oder für Geheimagenten, die sprechen müssen, ohne gehört zu werden – die Zukunft der stillen Sprache könnte nur aus ein paar winzigen Sensoren bestehen, die an den richtigen Stellen platziert sind.