The Eloquence team submission for task 1 of MLC-SLM challenge

Stellen Sie sich vor, Sie versuchen, einem superintelligenten Roboter beizubringen, einer belebten, lauten Party zuzuhören, bei der Menschen in verschiedenen Sprachen sprechen, sich gegenseitig übertönen und Witze erzählen, die nur Sinn ergeben, wenn man sich erinnert, was fünf Minuten zuvor gesagt wurde. Das ist die Welt der multilingualen konversationellen Spracherkennung. Lange Zeit haben Computer dies dadurch gehandhabt, dass sie wie bei einem Staffellauf vorgingen: Ein Mensch (oder eine Maschine) schrieb zuerst genau auf, was gesagt wurde (Transkription), und dann las eine zweite Maschine diesen Text, um die Bedeutung zu verstehen. Aber dieser Staffellauf hat einen Fehler: Wenn der erste Läufer stolpert und das falsche Wort aufschreibt, wird der zweite Läufer verwirrt und die gesamte Botschaft wird entstellt. Zudem verpasst der zweite Läufer das Gefühl der Stimme – den Tonfall, die Geschwindigkeit und die Emotion – weil er nur den Text erhält.

Um dies zu beheben, entwickeln Wissenschaftler Speech Language Models (SLMs). Denken Sie an diese als ein einzelnes, alles wissendes Gehirn, das die Schallwellen direkt hören und gleichzeitig die Bedeutung verstehen kann, ohne vorher einen Vermittler zu benötigen, der die Dinge aufschreibt. Es ist wie ein Upgrade von einem Roboter, der einen Menschen braucht, der eine fremde Sprache übersetzt, bevor er einen Witz versteht, hin zu einem Roboter, der den Witz in der Originalsprache hört und im richtigen Moment lacht. Die große Frage, die sich Forscher stellen, ist: Wie bringen wir diese Roboter dazu, wirklich gut darin zu werden, unordentliche, reale Gespräche in vielen verschiedenen Sprachen gleichzeitig zu verstehen?

In diesem Paper entschied sich ein Team von Forschern des „Eloquence“-Projekts (einer durch die Europäische Union geförderten Gruppe), eine Party für diese KI-Gehirne zu veranstalten, um zu sehen, welches am besten zuhören kann. Sie nahmen an einem Wettbewerb namens MLC-SLM Challenge teil, der speziell darauf ausgelegt war, zu testen, wie gut KI mehrsprachige Gespräche bewältigen kann. Ihr Ziel war es nicht nur, einen Roboter zu bauen, der hören kann; sie wollten einen bauen, der den Kontext eines Gesprächs versteht, wie zum Beispiel zu wissen, dass „Es ist kalt“ in einer Situation bedeßen kann „Schalte die Heizung ein“, aber in einer anderen „Ich trage einen Mantel“.

Das Team probierte drei verschiedene Strategien aus, um zu sehen, welcher Ansatz ihr KI-System zum besten Zuhörer machen würde.

Zuerst überprüften sie die Regeln des Spiels.
Bevor sie versuchten, etwas Neues zu erfinden, betrachteten sie das „offizielle Baseline“ – das Standard-Setup, das von den Organisatoren des Wettbewerbs bereitgestellt wurde. Denken Sie an dieses als an ein „Starter-Kit“, das jeder bekommt. Sie testeten dieses Kit mit verschiedenen Arten von „Gehirnen“ (Large Language Models) und verschiedenen Arten der Verbindung der „Ohren“ (Audio-Encoder) mit dem Gehirn. Sie fanden heraus, dass das bloße Anpassen der Verbindung keinen großen Unterschied machte. Es war, als würde man versuchen, ein langsames Auto zu reparieren, indem man die Farbe der Räder ändert; der Motor war derselbe, also änderte sich die Geschwindigkeit nicht viel. Sie probierten auch eine schicke neue Verbindungsmethode namens „Q-Former“ aus, aber auch das löste das Problem nicht magisch.

Zweitens bauten sie ihre eigene, maßgeschneiderte Engine.
Dies war ihr erfolgreichster Versuch. Sie verwendeten ein Framework namens SLAM-ASR, was wie eine hochtechnologische Werkstatt für den Bau von Sprachrobotern ist. Sie kombinierten einen leistungsstarken Audio-Zuhörer (Whisper Large V3 Turbo) mit einem speziellen Typ von Gehirn namens EuroLLM 1.7B. Um dieses Gehirn zum Verständnis von Audio zu bringen, bauten sie einen maßgeschneiderten „Übersetzer“ (einen linearen Projektor), der den Klang in eine Sprache umwandelt, die das Gehirn versteht.

Hier wurden sie kreativ: Sie versuchten, den Roboter durch „verrauschte“ Trainingsdaten zu lehren. Sie simulierten schlechte Audiobedingungen – wie das Hinzufügen von statischem Rauschen, das Beschleunigen von Stimmen oder das Verschieben der Tonhöhe –, um den Roboter in einer schwierigen Umgebung trainieren zu lassen. Sie hofften, dies würde den Roboter widerstandsfähiger machen, so wie ein Boxer, der mit Gewichten trainiert. Die Ergebnisse waren jedoch etwas gemischt. Während das Rauschtraining in einigen spezifischen Fällen half, machte es ihren besten Roboter nicht besser als er bereits war. Tatsächlich war ihr bestes System, das das EuroLLM 1.7B-Gehirn mit einer speziellen Technik namens LoRA verwendete (was so ist, als würde man dem Gehirn eine leichte, anpassbare Trainingsweste anlegen, anstatt es komplett neu zu bauen), mit 13. von 24 Teams fertig geworden. Es war nicht der Gewinner, aber es bewies, dass ein kleineres, eingefrorenes Gehirn mit einem smarten Übersetzer immer noch eine großartige Arbeit leisten kann.

Drittens versuchten sie, dem Roboter ein „Gedächtnis“ zu geben.
Reale Gespräche bestehen nicht nur aus einem Satz nach dem anderen; sie sind ein Fluss von Ideen. Wenn jemand sagt: „Es regnet“, und später sagt: „Ich habe meinen Regenschirm vergessen“, ergibt der zweite Satz nur aufgrund des ersten Sinn. Das Team versuchte, der KI diese Art von Gedächtnis zu geben, indem sie den vorherigen Satz des Gesprächs als Kontext einspeisten. Sie probierten auch eine Technik namens Contrastive Learning (kontrastives Lernen) aus, was wie ein Spiel der „Unterschiede“ ist. Sie zeigten der KI Paare von Sätzen, die zusammengehören sollten, und Paare, die es nicht tun sollten, um die KI zu zwingen, den Unterschied zwischen einem logischen Gespräch und einem zufälligen Wortsalat zu lernen.

Die Ergebnisse hier waren interessant. Als sie das „Gedächtnis“ (Kontext) und das „Spiel der Unterschiede“ (Contrastive Learning) hinzufügten, verbesserte sich die KI beim Verständnis des Gesprächs und senkte ihre Fehlerrate auf 17,18 % in ihrem Testdatensatz. Sie stellten jedoch etwas Merkwürdiges fest: Als sie versuchten, die „Trainingsweste“ (LoRA) zusammen mit dem Gedächtnis und dem kontrastiven Lernen zu verwenden, verschlechterte sich die Leistung tatsächlich. Sie vermuten, dass dies daran liegt, dass sie dem Roboter nicht genug Zeit zum Lernen gaben (nur zwei Trainingssessions), sodass die zusätzliche Komplexität ihn verwirrte.

Was haben sie gelernt?
Das Team entdeckte, dass man nicht immer das größte, teuerste Gehirn braucht, um Sprache zu verstehen. Ein kleineres, eingefrorenes Gehirn (EuroLLM 1.7B) in Kombination mit einem smarten, gut trainierten Übersetzer kann sehr effektiv sein. Sie lernten auch, dass es der KI hilft, ein wenig „Gesprächshistorie“ zu erhalten, um die Geschichte besser zu verstehen, aber man muss vorsichtig sein, das Training nicht zu überkomplizieren.

Am Ende schlägt das Eloquence-Team vor, dass die Zukunft der Spracherkennung in der Kombination dieser smarten, effizienten Architekturen mit einem tieferen Verständnis dessen liegt, wie Menschen tatsächlich sprechen – indem man den Fluss des Gesprächs im Sinn behält, anstatt nur isolierte Wörter zu hören. Sie planen, weiterhin zu erforschen, wie man Sprachen mischt und noch komplexere Aufgaben bewältigt, in der Hoffnung, Roboter zu bauen, die uns nicht nur hören, sondern uns wirklich verstehen.