Building an ASR Solution for Training and Assessing Children's Reading

Stellen Sie sich vor, Sie versuchen einem Kind das Lesen in Bambara beizubringen, einer großen Sprache in Mali. In einer perfekten Welt könnte ein Lehrer jedem Kind beim Vorlesen zuhören, sofort Fehler erkennen und hilfreiches Feedback geben. Doch in der Realität gibt es nicht genug Lehrer, um dies für jeden Schüler zu tun, und die verfügbaren Werkzeuge für Bambara sind oft zu einfach oder verstehen nicht, wie sich die Stimmen von Kindern von denen Erwachsener unterscheiden.

Dieses Paper stellt eine Lösung namens "An bɛ kalan" vor (was in etwa übersetzt wird mit "Lass uns lesen"). Es ist ein kostenloses, Open-Source-System, das als digitaler Lesetutor für Kinder in Mali dienen soll. Hier ist erklärt, wie die Forscher es gebaut haben und was sie herausgefunden haben, verdeutlicht durch einfache Analogien.

1. Das Sammeln der Rohmaterialien: Das "Lese-Camp"

Um einem Computer beizubringen, Kindern beim Lesen zuzuhören, benötigt man zuerst eine riesige Bibliothek an Aufnahmen. Das Team richtete ein "Lese-Camp" in Bamako, Mali, ein.

• Der Aufbau: Sie nutzten eine mobile App, um 60 Kinder (meist im Alter von 13–17 Jahren) beim lauten Vorlesen aus 22 verschiedenen Lehrbüchern aufzunehmen.
• Das Ergebnis: Sie sammelten 55 Stunden Rohaudio. Nachdem sie schlechte Aufnahmen aussortiert hatten (wie etwa Kinder, die sich gegenseitig ins Wort fallen oder mitten im Satz aufhören), behielten sie 47 Stunden hochwertiger Daten.
• Die Wendung: Sie haben nicht nur jedes Buch einmal aufgenommen. Viele verschiedene Kinder haben die gleichen Bücher immer wieder vorgelesen. Dies erzeugte einen "duplizierten" Datensatz, bei dem die Wörter dieselben waren, aber die Stimmen unterschiedlich.

2. Die Kontrahenten: Zwei verschiedene "Gehirne"

Die Forscher wollten sehen, welcher Typ von Computer-"Gehirn" (KI-Modell) am besten geeignet war, diesen Kindern zuzuhören. Sie stellten zwei verschiedene Architekturen gegeneinander:

• QuartzNet: Betrachten Sie dies als ein kompaktes, leichtes Fahrrad. Es ist klein, schnell und darauf ausgelegt, auf günstigen, älteren Smartphones ohne Internetverbindung zu laufen. Es hat weniger "Gänge" (Parameter), mit denen es lernen kann.
• Soloni: Betrachten Sie dies als ein Hochleistungs-Sportauto. Es ist größer, komplexer und wurde zuvor mit viel allgemeiner Bambara-Sprache trainiert, bevor es für Kinder spezialisiert wurde. Es hat viele mehr "Gänge", um komplexe Klänge zu bewältigen.

3. Das Training: "Drills" und "Hindernisse"

Die Forscher testeten diese Modelle mit vier verschiedenen Trainingsstrategien, um zu sehen, was am besten funktioniert:

1. Die Grundlagen: Training nur mit den einzigartigen Büchern (1,6 Stunden einzigartiger Text).
2. Der Hindernisparcours (SpecAugment): Sie fügten während des Trainings künstlich "Rauschen" zum Audio hinzu (als würde man Teile der Stimme mit einer digitalen Augenbinde verdecken), um die KI zu zwingen, schwieriger zu lernen.
3. Das Wiederholungs-Drill: Sie fügten die "duplizierten" Daten hinzu (dieselbe Texte, gelesen von verschiedenen Kindern), um zu sehen, ob das Hören derselben Wörter aus vielen Stimmen beim Verständnis hilft.
4. Die Kombination: Wiederholungs-Drill + Hindernisparcours.

4. Die Rennergebnisse

Als sie die Modelle an einem neuen Satz von Kindern testeten, die sie zuvor noch nie gesehen hatten, geschah Folgendes:

• Der Gewinner: Das Soloni-Modell (das Sportauto) gewann haushoch.
  • Vor dem Training machte es Fehler bei etwa 42 % der Wörter.
  • Nach dem Training senkte es seine Fehlerquote auf nur 22 %.
  • Es war signifikant besser als QuartzNet, das selbst nach dem Training noch mit einer Fehlerquote von 40 % zu kämpfen hatte.
• Die überraschende Lektion über Wiederholung:
  • Den QuartzNet (das Fahrrad) mit mehr Daten zu füttern, bei denen der gleiche Text von verschiedenen Stimmen gelesen wurde, war wie ein Turbo-Boost für es. Es verbesserte sich massiv, weil es diese zusätzliche Wiederholung brauchte, um die Muster zu verstehen.
  • Dem Soloni (dem Sportauto) dieselbe zusätzliche Wiederholung zu geben, half nicht viel. Es war bereits so gut darin, die Muster zu verstehen, dass es durch das erneute Hören derselben Wörter nichts Neues lernte.
• Die Lektion über "Hindernisse" (SpecAugment):
  • Das Hinzufügen von künstlichem Rauschen (die Augenbinde) half dem Training, reibungsloser zu laufen, und verhinderte, dass die Modelle verwirrt wurden, aber es machte sie nicht tatsächlich intelligenter als ohne das Rauschen.

5. Die Schwachstelle: Die jüngeren Kinder

Die Forscher brachen die Ergebnisse nach Alter auf und fanden ein spezifisches Problemgebiet.

• Die über 10-Jährigen: Das System funktionierte sehr gut für sie.
• Die unter 10-Jährigen: Das System hatte immer noch erhebliche Schwierigkeiten mit Kindern unter 10 Jahren.
• Warum? Jüngere Kinder haben höhere Stimmlagen, eine weniger stabile Aussprache und sprechen in unregelmäßigen Geschwindigkeiten. Für die KI klingen sie so, als würden sie eine leicht andere Sprache sprechen als die älteren Kinder. Das System machte bei ihnen viel mehr Fehler, was darauf hindeutet, dass wir gezielt mehr junge Kinder aufnehmen müssen, um dies zu beheben.

6. Real-World-Test: Das Klassenzimmer

Schließlich brachten sie die App in 10 echte Klassenzimmer in Bamako.

• Das Urteil: Lehrer und Schüler mochten sie. Die App gab sofortiges Feedback (sie sagte dem Kind, ob es ein Wort korrekt gelesen hat), was die Kinder bei der Sache hielt.
• Das Ergebnis: In 9 von 10 Versuchen sagten die Lehrer: "Ja, wir wollen dies weiterhin verwenden." Es bewies, dass die Technologie in einem echten Schulumfeld funktioniert, selbst auf einfachen Telefonen.

Das Fazischwort

Das Paper kommt zu dem Schluss, dass man für einen großartigen Lesetutor für Bambara-Kinder nicht nur mehr Stunden an Aufnahmen braucht, sondern eine bessere Vielfalt.

• Nehmen Sie nicht nur dasselbe Buch 100 Mal auf (es sei denn, Sie verwenden ein sehr einfaches Modell wie QuartzNet).
• Nehmen Sie statlich mehr diverse Stimmen auf und insbesondere mehr junge Kinder unter 10 Jahren auf, da dies der Bereich ist, in dem das System derzeit versagt.

Das "An bɛ kalan"-System steht nun jedem zur Verfügung und bietet ein leistungsstarkes, offline-fähiges Werkzeug, um die Lesefähigkeiten in Mali zu bewerten und zu verbessern.