OSUM-Pangu: An Open-Source Multidimension Speech Understanding Foundation Model Built upon OpenPangu on Ascend NPUs

Der Artikel stellt OSUM-Pangu vor, ein vollständig quelloffenes Sprachverständnis-Grundmodell, das auf der OpenPangu-7B-Architektur basiert und speziell für den Einsatz auf Ascend-NPUs ohne CUDA-Infrastruktur entwickelt wurde, wobei es eine mit GPU-basierten Modellen vergleichbare Genauigkeit erreicht.

Das Wesentliche

Stellen Sie sich vor, Sie haben einen extrem intelligenten, aber sehr launischen Assistenten. Dieser Assistent ist ein Sprach-KI-Modell. Er kann nicht nur hören, was Sie sagen, sondern auch wie Sie es sagen (z. B. ob Sie wütend oder glücklich klingen) und sogar erraten, wie alt Sie sind.

Das Problem bisher war: Dieser Assistent war wie ein hochmoderner Rennwagen, der nur mit einem ganz bestimmten Treibstoff (NVIDIA-GPUs und CUDA-Software) funktionierte. Wenn Sie ihn in ein Land brachten, wo dieser Treibstoff verboten oder nicht verfügbar war (z. B. in China mit eigenen Chips), blieb der Wagen stehen.

Hier kommt OSUM-Pangu ins Spiel.

1. Der neue Motor: Ein Auto für jeden Tank

Die Forscher haben einen neuen Assistenten gebaut, der nicht auf den verbotenen Treibstoff angewiesen ist. Stattdessen läuft er auf Ascend-NPUs (einer Art chinesischer KI-Chip) und einer komplett offenen Software.

• Die Analogie: Stellen Sie sich vor, bisher mussten alle KI-Assistenten in einem Haus wohnen, das nur mit US-Stromsteckern funktionierte. OSUM-Pangu ist wie ein Assistent, der einen universellen Adapter hat. Er funktioniert in jedem Haus, egal ob die Steckdose in den USA, Europa oder China ist.

2. Wie funktioniert das Gehirn? (Die drei Bausteine)

Das Modell besteht aus drei Teilen, die wie ein gut koordiniertes Team arbeiten:

1. Das Ohr (Whisper-Encoder): Das ist ein sehr gutes Gehör, das die Schallwellen in eine Art "Gedächtnis-Skizze" umwandelt. Es hört nicht nur die Worte, sondern auch den Klang.
2. Der Dolmetscher (Adapter): Das Ohr spricht eine andere Sprache als das Gehirn. Der Dolmetscher nimmt die langen, komplizierten Klang-Skizzen und macht sie kurz und knackig, damit das Gehirn sie schnell verstehen kann.
3. Das Gehirn (OpenPangu-7B): Das ist das eigentliche "Denkzentrum". Es ist ein riesiges Sprachmodell, das bereits gelernt hat, wie die Welt funktioniert. Es ist wie ein erfahrener Professor, der alles über Sprache weiß.

Der Clou: Bisher mussten diese Teile oft aufwendig zusammengebaut werden, damit sie auf den neuen Chips liefen. OSUM-Pangu nutzt einen "Professor" (OpenPangu), der von Anfang an für diese neuen Chips trainiert wurde. Das ist, als würde man einen Rennwagen direkt mit dem passenden Motor bauen, anstatt einen alten Motor mühsam anzupassen.

3. Das Training: Vom "Befehlsroboter" zum "Gesprächspartner"

Früher mussten Sie dem KI-Assistenten sehr starre Befehle geben, wie: "FUNKTION: ALTER_ERMITTELN". Wenn Sie sagten: "Wie alt klingt dieser Mann wohl?", hat der alte Roboter oft den Kopf geschüttelt.

OSUM-Pangu wurde in drei Stufen trainiert, um natürlich zu sprechen:

• Stufe 1: Es lernt, die Sprache zu verstehen (z. B. "Das ist ein Erwachsener").
• Stufe 2: Es lernt, Ihre Absicht aus normalen Sätzen zu erraten (z. B. "Kannst du mir sagen, wie alt er ist?").
• Stufe 3: Es verbindet beides. Es hört zu, denkt nach und antwortet direkt, ohne dass Sie einen speziellen Code eingeben müssen.

Das Ergebnis: Der Assistent versteht zu 90,2 %, was Sie wollen, auch wenn Sie es ganz locker formulieren. Das ist wie ein Gespräch mit einem Freund, bei dem er genau weiß, was Sie meinen, auch wenn Sie nicht jeden Satz perfekt formulieren.

4. Warum ist das wichtig? (Die große Bedeutung)

Bisher war die Welt der KI-Sprachmodelle wie ein exklusiver Club, in den man nur mit einem bestimmten Ausweis (NVIDIA-Chips) rein durfte. Das war teuer und schloss viele Länder und Forscher aus.

OSUM-Pangu ist wie ein offenes Tor. Es zeigt der Welt:

• Man braucht keine teuren US-Chips, um hochintelligente Sprach-KI zu bauen.
• Man kann KI auf eigenen, unabhängigen Hardware-Systemen (wie den Ascend-Chips) bauen, die genauso gut funktionieren wie die großen Modelle.
• Es ist Open Source (offen für alle), damit jeder die Baupläne einsehen und weiterentwickeln kann.

Zusammenfassung in einem Satz

OSUM-Pangu ist ein intelligenter Sprach-Assistent, der nicht mehr auf teure, amerikanische Hardware angewiesen ist, sondern auf eigenen Chips läuft, Ihre lockeren Sätze versteht und damit zeigt, dass man KI auch unabhängig und offen entwickeln kann.

Technische Zusammenfassung

Hier ist eine detaillierte technische Zusammenfassung des Papers „OSUM-PANGU" auf Deutsch:

Titel: OSUM-PANGU: Ein Open-Source-Multidimension-Sprachverständnis-Grundmodell, das auf OpenPangu auf Ascend NPUs basiert

1. Problemstellung

Trotz erheblicher Fortschritte bei Sprach-LLMs (Large Language Models) bestehen folgende kritische Herausforderungen:

• Hardware-Abhängigkeit: Die meisten hochleistungsfähigen Frameworks für Sprachverständnis sind stark auf das NVIDIA CUDA-Ökosystem optimiert. Dies schafft eine signifikante Lücke für den Einsatz auf nicht-CUDA-basierten Infrastrukturen.
• Fehlende Native Optimierung: Bestehende Open-Source-Lösungen wie das OSUM-Framework, das bereits auf NPUs adaptiert wurde, nutzen als Backbone oft Modelle (z. B. Qwen2), die weiterhin CUDA-Abhängigkeiten aufweisen oder nicht nativ für NPUs optimiert sind.
• Starre Interaktion: Viele aktuelle Systeme benötigen starre, vordefinierte Prompts oder feste Task-Tags. In der Praxis drücken Benutzer ihre Absichten jedoch oft in freier natürlicher Sprache aus, was die Interpretation von Intent (Absicht) einschränkt.

2. Methodik

Das Paper stellt OSUM-Pangu vor, ein vollständig open-source Sprachverständnis-Grundmodell, das auf einer reinen Nicht-CUDA-Software- und Hardware-Stack (Ascend NPU) läuft.

• Architektur:

  • Backbone: Statt eines CUDA-basierten Modells wird openPangu-7B (speziell die Version openPangu-Embedded-7B-V1.1) als Sprach-Backbone verwendet. Dieses Modell wurde nativ auf der Ascend-Architektur vortrainiert und bietet eine optimale Kompatibilität.
  • Akustischer Encoder: Ein vortrainierter Whisper-medium-Encoder extrahiert semantische Inhalte und paralinguistische Attribute aus dem Audiosignal.
  • Modality Adapter: Ein trainierbarer Adapter (bestehend aus 2D-CNNs für zeitliche Kompression und Transformer-Layern) überbrückt die Lücke zwischen akustischen Embeddings und dem LLM-Eingaberaum. Er komprimiert die Sequenzlänge um den Faktor 4, um den Kontextfenster-Beschränkungen des LLMs gerecht zu werden.
  • Inferenz-Workflow: Das Modell verarbeitet hybride Eingaben aus Text-Instructions und Speech-Tokens. Es generiert strukturierte Ausgaben mit task-spezifischen Tags (z. B. <asr>, <age>), die eine implizite Task-Routing ermöglichen.

• Trainingsstrategie (Drei-Stufen-Pipeline):
  Um eine effiziente Ausrichtung unter Ressourcenbeschränkungen zu erreichen, wird ein sequenzieller Trainingsansatz gewählt:

  1. Stufe I (Tag-basierte Klassifikation): Anpassung des Adapters und des LLMs (via LoRA) an spezifische Sprachaufgaben unter Verwendung fester Tags.
  2. Stufe II (Text-basierte Intent-Erkennung): Training des LLMs, Benutzerabsichten aus reinen Text-Instructions zu erkennen, ohne Audioinput. Dies verbessert die Robustheit der Instruktionsparsing.
  3. Stufe III (Gemeinsame Multimodale Integration): Kombination von Audio und natürlicher Sprache. Das Modell lernt, die Benutzerabsicht autonom zu inferieren und die entsprechende Sprachanalyse durchzuführen, ohne auf starre Prompts angewiesen zu sein.

• Infrastruktur: Das gesamte Training und die Inferenz laufen auf einem Cluster von Ascend 910B NPUs unter Verwendung des CANN-Software-Stacks.

3. Wichtige Beiträge

• Erster vollständiger Non-CUDA Stack: OSUM-Pangu ist ein vollständig reproduzierbares Grundmodell, das Audio-Encoder, Adapter und LLM-Backbone nahtlos auf Ascend NPUs integriert, ohne CUDA-Abhängigkeiten.
• Intent-Aware Training: Durch die Einführung einer Intent-Erkennungsphase (Stufe II & III) kann das Modell freie natürliche Sprache interpretieren und Aufgaben dynamisch routen, anstatt auf starre Templates angewiesen zu sein.
• Open-Source-Baseline: Die Veröffentlichung von Code und Gewichten schafft eine Benchmark für die Open-Source-Community im Bereich des Sprachverständnisses auf alternativen Hardware-Plattformen.

4. Ergebnisse

Die Evaluierung zeigt, dass OSUM-Pangu mit GPU-basierten State-of-the-Art-Modellen konkurrieren kann:

• Aufgabenleistung: Auf sieben Sprachverständnis-Dimensionen (ASR, Emotionserkennung, Altersschätzung, etc.) erzielt OSUM-Pangu Ergebnisse, die mit GPU-Modellen wie Qwen2-Audio und OSUM vergleichbar sind oder diese in bestimmten Bereichen (z. B. Altersschätzung und Stil-Erkennung) sogar übertreffen.
  • Beispiel: Bei der Altersschätzung (SAP) erreicht OSUM-Pangu 83,31 % Genauigkeit (vs. 76,52 % bei OSUM).
• Instruction Following Rate (IFR): Das Modell erreicht eine IFR von 90,2 %, was deutlich höher ist als bei dem instruktionsangepassten Baseline-Modell Qwen2Audio-Instruct (71,3 %). Dies beweist die Fähigkeit, komplexe, natürliche Anweisungen korrekt zu interpretieren.
• Robustheit: Der Vergleich zwischen festen Instructions (FI) und natürlicher Sprache (NL) zeigt nur minimale Leistungseinbußen, was die Robustheit des Modells gegenüber variierenden Benutzerformulierungen unterstreicht.
• Chat-Fähigkeiten: Im Speech-to-Text-Chat (STTC) übertrifft das Modell spezialisierte Modelle, bleibt zwar hinter kommerziellen Modellen wie GPT-4o zurück, demonstriert aber das Potenzial von Non-CUDA-LLMs für offene Dialogsysteme.

5. Bedeutung und Ausblick

OSUM-Pangu demonstriert, dass alternative KI-Beschleuniger-Infrastrukturen (wie Ascend NPUs) in der Lage sind, hochleistungsfähige, multimodale Sprachmodelle zu betreiben, die mit CUDA-zentrierten Ökosystemen gleichziehen können.

• Unabhängigkeit: Das Werk fördert die unabhängige Entwicklung multimodaler Intelligenz jenseits des NVIDIA-Ökosystems.
• Reproduzierbarkeit: Es bietet der Forschungsgemeinschaft eine solide, reproduzierbare Basis für zukünftige Arbeiten im Bereich des Sprachverständnisses auf heterogenen Hardware-Plattformen.
• Praktische Anwendbarkeit: Die Fähigkeit, natürliche Sprache als semantischen Leitfaden für akustische Aufgaben zu nutzen, macht das System für reale Anwendungen mit flexiblen Benutzerinteraktionen geeignet.