The NTNU System at the S&I Challenge 2025 SLA Open Track
Das System des NTNU-Teams für die S&I Challenge 2025 SLA Open Track integriert wav2vec 2.0 mit dem multimodalen Large Language Model Phi-4 über eine Score-Fusionsstrategie, um modalitätsspezifische Einschränkungen zu überwinden, und erreichte einen zweiten Platz mit einem quadratischen Mittelwert der Abweichung von 0,375.
Originalarbeit lizenziert unter CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dies ist eine KI-generierte Erklärung des untenstehenden Papers. Sie wurde nicht von den Autoren verfasst oder gebilligt. Für technische Genauigkeit konsultieren Sie das Originalpaper. Vollständigen Haftungsausschluss lesen
Stellen Sie sich vor, Sie sind ein Lehrer, der versucht, die gesprochene englische Sprache eines Schülers zu bewerten. Sie müssen zuhören und entscheiden: Wie gut ist er? Klingt er fließend? Ist seine Aussprache klar? Verwendet er die richtigen Wörter?
Lange Zeit versuchten Computer dies zu tun, indem sie zwei separate Dinge ausführten, aber sie waren wie zwei Spezialisten, die nicht miteinander kommunizieren konnten:
Der „Transkriptions-Experte“ (BERT): Dieser Computer hört zu, schreibt genau auf, was der Schüler gesagt hat, und bewertet dann die Wörter. Er ist großartig darin zu prüfen, ob der Schüler den richtigen Wortschatz verwendet hat. Aber wenn der Computer ein Wort falsch versteht (was bei Akzenten oft vorkommt), wird die gesamte Note vermasselt. Außerdem kann er nicht hören, wie der Schüler es gesagt hat – zum Beispiel, ob er nervös klang oder in einem seltsamen Rhythmus sprach.
Der „Toningenieur“ (wav2vec 2.0): Dieser Computer ignoriert die Wörter komplett. Er hört nur auf die Schallwellen. Er ist fantastisch darin zu hören, ob der Schüler flüssig spricht, ob sein Akzent klar ist und ob er zu viel pausiert. Aber er versteht nicht wirklich, was der Schüler sagt. Er könnte denken, ein Schüler sei großartig, nur weil er flüssig sprach, selbst wenn er völligen Unsinn erzählte.
Die Lösung des NTNU-Teams: Der „Super-Lehrer“
Das Team der National Taiwan Normal University (NTNU) erkannte, dass man für eine perfekte Note sowohl den Transkriptions-Experten als auch den Toningenieur braucht, die zusammenarbeiten. Sie entwickelten ein System für die „Speak & Improve Challenge 2025“ (einen großen Wettbewerb für KI, die das Sprechen bewertet), das wie ein Super-Lehrer fungiert.
So funktioniert ihr System, unter Verwendung einer einfachen Analogie:
1. Die zwei Notengeber
Sie entwickelten zwei unterschiedliche „KI-Notengeber“, die gleichzeitig dieselbe Aufnahme eines Schülers hören:
- Notengeber A (Der Sound-Experte): Verwendet ein Modell namens wav2vec 2.0. Er konzentriert sich ausschließlich auf die Musik der Sprache – den Rhythmus, die Aussprache und den Fluss.
- Notengeber B (Der Bedeutungs-Experte): Verwendet eine massive, intelligente KI namens Phi-4. Dies ist ein „multimodales Large Language Model“. Es ist wie ein superintelligenter Tutor, der den Text und die Stimme gleichzeitig lesen und hören kann. Er versteht die Bedeutung, die Grammatik und den Kontext der Geschichte, die der Schüler erzählt.
2. Die „Score Fusion“ (Die endgültige Entscheidung)
Anstatt eine KI die endgültige Entscheidung treffen zu lassen, haben sie beide kombiniert. Stellen Sie sich ein Gremium von Preisrichtern vor, bei dem ein Richter über „Flüssigkeit“ und der andere über „Inhalt“ abstimmt.
- Sie haben die Scores nicht einfach blind gemittelt. Sie nutzten eine kluge Strategie namens Score Fusion.
- Sie schauten sich verschiedene „Sprachniveaus“ an (vom Anfänger bis zum Fortgeschrittenen). Für jedes Niveau ermittelten sie genau, wie viel Gewicht sie dem Sound-Experten gegenüber dem Bedeutungs-Experten geben mussten, um das genaueste Ergebnis zu erzielen.
- Es ist so, als würde man sagen: „Für einen Anfänger vertrauen wir dem Sound-Experten ein wenig mehr. Für einen fortgeschrittenen Schüler vertrauen wir dem Bedeutungs-Experten mehr.“
Das Ergebnis:로 Zweiter Platz!
Als sie dieses „Super-Lehrer“-System gegen den offiziellen Testsatz testeten:
- Der alte Weg (Baseline): Machte einen Fehler von durchschnittlich 0,44 Punkten.
- Der Sound-Experte allein: Machte einen Fehler von 0,39.
- Der Bedeutungs-Experte allein: Machte einen Fehler von 0,39.
- Der NTNU Super-Lehrer (Kombination): Machte einen Fehler von nur 0,375.
Diese kleine Verbesserung reichte aus, um den 2. Platz im gesamten Wettbewerb zu sichern und viele andere Top-Forscher zu übertreffen. Das einzige Team, das etwas besser abschnitt (1. Platz), hatte einen Wert von 0,364.
Warum das wichtig ist (laut dem Paper)
Das Paper behauptet, dass dies beweist, dass man sich nicht nur auf eine Art von KI verlassen kann.
- Wenn man nur auf die Wörter schaut, verpasst man das Gefühl der Sprache.
- Wenn man nur auf die Klänge hört, verpasst man die Bedeutung.
- Indem man einen spezialisierten „Sound-Experten“ mit einem „superintelligenten Tutor“ kombiniert und sie gemeinsam abstimmen lässt, erhält man eine viel fairere und genauere Note.
Das Team fand auch heraus, dass es besser funktionierte, einen spezifischen „Tutor“ für jede spezifische Art von Testfrage zu haben (wie ein Interview gegenüber einer Präsentation), als zu versuchen, dass ein einziger „Tutor“ alles auf einmal beantwortet.
Kurz gesagt: Um die Sprache eines Menschen zu bewerten, braucht man einen Computer, der sowohl die Musik hören als auch den Text verstehen kann, während sie als Team zusammenarbeiten.
Ertrinken Sie in Arbeiten in Ihrem Fachgebiet?
Erhalten Sie tägliche Digests der neuesten Arbeiten passend zu Ihren Forschungsbegriffen — mit technischen Zusammenfassungen, in Ihrer Sprache.