OSUM-Pangu: An Open-Source Multidimension Speech Understanding Foundation Model Built upon OpenPangu on Ascend NPUs

Dit paper introduceert OSUM-Pangu, een volledig open-source foundation model voor multidimensionale spraakbegrip dat is gebouwd op de openPangu-7B LLM en volledig draait op Ascend NPUs zonder CUDA, waardoor een reproduceerbare, GPU-onafhankelijke baseline wordt geboden met prestaties vergelijkbaar met bestaande GPU-modellen.

De kern

Stel je voor dat je een super slimme robot hebt die niet alleen kan lezen en schrijven, maar ook kan luisteren. Hij kan horen wat je zegt, maar ook hoe je het zegt (is je stem boos? is de spreker een kind of een volwassene?). Dit soort robots worden "spraakmodellen" genoemd.

Meestal worden deze slimme robots gebouwd met heel specifieke, dure computerchips van het merk NVIDIA (de "CUDA" chips). Het is alsof je een raceauto bouwt die alleen op benzine rijdt. Als je geen benzine hebt, of als je in een land woont waar alleen elektriciteit beschikbaar is, kun je die auto niet gebruiken.

OSUM-Pangu is het antwoord op dit probleem. Hier is wat de onderzoekers hebben gedaan, vertaald naar alledaags taal:

1. De "Elektrische" Versie van de Robot

De onderzoekers (van de Noordwest-Polytechnische Universiteit in China) hebben een nieuwe versie van deze slimme spraakrobot gebouwd die niet op de gebruikelijke NVIDIA-chips draait, maar op een ander type chip: de Ascend NPU.

• De Analogie: In plaats van een raceauto die alleen op benzine rijdt, hebben ze een elektrische auto gebouwd die perfect werkt op het lokale elektriciteitsnet. Ze hebben bewezen dat je net zo snel en slim kunt rijden zonder die dure benzine (CUDA).

2. Hoe werkt het? (De Bouwstenen)

Om deze robot te maken, hebben ze drie belangrijke onderdelen samengevoegd:

• De Oren (Whisper): Dit is het deel dat het geluid opvangt en omzet in een soort "luister-gevoelens". Het is als een zeer gevoelig microfoonsysteem dat weet of iemand fluistert of schreeuwt.
• De Vertaler (Adapter): Omdat de "oren" en het "brein" in verschillende talen spreken, hebben ze een vertaler nodig. Deze vertaler maakt het geluid begrijpelijk voor het brein en maakt het korter, zodat het sneller verwerkt kan worden.
• Het Brein (OpenPangu-7B): Dit is het grote brein van de robot. Het is een "Large Language Model" (een slimme tekst-robot) dat speciaal is getraind om te werken op de Ascend-chips. Het is als een professor die niet alleen tekst begrijpt, maar ook de bedoeling achter je woorden snapt.

3. De Leermethode: Stap voor Stap

Je kunt zo'n slimme robot niet in één dag laten leren. De onderzoekers hebben een slimme drie-stappen methode gebruikt (zoals het leren van een kind):

1. Stap 1: Luisteren en Herkennen: Eerst leren ze de robot om specifieke taken te doen, zoals "schrijf op wat er gezegd wordt" of "zeg of dit een man of vrouw is". Ze gebruiken hiervoor vaste commando's.
2. Stap 2: De Intentie Begrijpen (Alleen tekst): Dan leren ze de robot om te begrijpen wat mensen eigenlijk bedoelen, zonder dat er geluid is. Als iemand zegt: "Vertel me eens wie er spreekt", begrijpt de robot dat hij de leeftijd moet raden, zonder dat er een strak commando is.
3. Stap 3: Alles Samenvoegen: Tot slot leren ze de robot om tegelijkertijd te luisteren en te begrijpen. Als jij vraagt: "Wat zegt deze audio en hoe oud is de spreker?", dan doet de robot beide dingen in één keer, zonder dat jij eerst een speciaal knopje hoeft in te drukken.

4. Wat is het resultaat?

De onderzoekers hebben getest of hun "elektrische" robot net zo goed is als de "benzine-robots" (die op NVIDIA-chips draaien).

• Het verdict: Ja! De OSUM-Pangu robot is net zo slim. Hij kan tekst uitschrijven, de stemming van een spreker herkennen en zelfs de leeftijd raden, met een nauwkeurigheid die vergelijkbaar is met de duurste modellen.
• De grote winst: Hij begrijpt 90% van de natuurlijke vragen die mensen stellen. Mensen kunnen dus gewoon praten zoals ze normaal doen, en de robot begrijpt het.

Waarom is dit belangrijk?

Vroeger was het alsof je alleen maar een auto kon rijden als je in een land woonde met benzinepompen. Nu hebben deze onderzoekers bewezen dat je ook een snelle, slimme auto kunt bouwen die werkt op elektriciteit (Ascend-chips).

Dit opent de deur voor landen en bedrijven die geen toegang hebben tot de Amerikaanse technologie, zodat ze hun eigen slimme spraakcomputers kunnen bouwen. Het is een stap naar een wereld waar slimme technologie voor iedereen beschikbaar is, niet alleen voor degenen met de duurste apparatuur.

Kortom: Ze hebben een slimme "luister-robot" gebouwd die werkt op een ander type computer dan gebruikelijk, die net zo goed is als de beste, en die begrijpt wat mensen echt bedoelen.

Technische samenvatting

Hier is een gedetailleerde technische samenvatting van het paper "OSUM-PANGU" in het Nederlands:

Titel: OSUM-PANGU: Een Open-Source Multidimensionale Spraakbegrijpings-Fundatiemodel Gebaseerd op OpenPangu op Ascend NPUs

1. Het Probleem

Hoewel spraakgrote taalmodellen (Speech LLMs) aanzienlijke vooruitgang hebben geboekt in het begrijpen van multidimensionale spraak (zoals transcriptie, emotieherkenning en intentie), zijn de meeste high-performance frameworks geoptimaliseerd voor het NVIDIA CUDA-ecosysteem. Dit creëert een significant gat in de implementatie op niet-CUDA-rekeninfrastructuur.

• Afhankelijkheid van CUDA: Bestaande open-source modellen (zoals OSUM) gebruiken vaak backbones (bijv. Qwen2) die nog steeds afhankelijk zijn van CUDA en geen native optimalisatie hebben voor andere hardware.
• Rigiditeit: Veel systemen vertrouwen op stijve, taalspecifieke prompts of vaste labels in plaats van vrij geformuleerde natuurlijke taal instructies, wat de interpretatie van gebruikersintenties beperkt.
• Hardware-beperking: Er is een gebrek aan reproduceerbare baselines voor spraakbegrip op alternatieve accelerators zoals de Ascend NPU (Neural Processing Unit) van Huawei.

2. Methodologie

De auteurs presenteren OSUM-Pangu, een volledig open-source fundatiemodel dat is ontwikkeld op een volledig niet-CUDA software- en hardware-stack.

• Architectuur:

  • Acoustische Encoder: Gebruikt de voorgeöorde Whisper-medium encoder om audio om te zetten in akoestische embeddings. De parameters blijven bevroren tijdens de eerste fasen voor stabiliteit.
  • Modale Adapter: Een trainbaar component dat de modale kloof overbrugt. Het voert tijdsdownsampling uit (4x) via 2D-convoluties en gebruikt Transformer-lagen om lange-termijn akoestische afhankelijkheden te modelleren. De features worden geprojecteerd naar de embedding-dimensie van de LLM.
  • LLM Backbone: In plaats van Qwen2, gebruiken de auteurs openPangu-7B (specifiek de openPangu-Embedded-7B-V1.1). Dit model is vooraf getraind op de Ascend NPU-architectuur, wat zorgt voor native compatibiliteit en geoptimaliseerde prestaties binnen dit ecosysteem.
  • Inference Workflow: De LLM verwerkt een hybride sequentie van instructietokens en spraaktokens, waarbij het model gestructureerde output genereert met taalspecifieke tags (bijv. <asr>, <age>).

• Trainingsstrategie (Drie-fasen pijplijn):
  Om efficiënte taalkoppeling te bereiken zonder enorme multimodale datasets, wordt een gefaseerde aanpak gebruikt:

  1. Taalspecifieke Spraakuitlijning: De adapter wordt getraind met vaste taaltags (bijv. <asr>) om akoestische informatie semantisch uit te lijnen met de LLM-ruimte.
  2. Tekstgebaseerde Intentieherkenning: De LLM leert gebruikersintenties te herkennen uit natuurlijke taal instructies (zonder audio), om de instructie-parsing te versterken.
  3. Gecombineerde Multimodale Integratie: Het model wordt getraind op zowel natuurlijke taal instructies als ruwe audio. Het moet autonoom de intentie afleiden en de juiste taak uitvoeren, waarbij het output genereert met zowel taakidentificatoren als semantische inhoud.

• Implementatie: Het volledige trainings- en inferentieproces draait op Ascend 910B NPUs met de CANN-softwarestack, volledig los van CUDA.

3. Belangrijkste Bijdragen

• Eerste Volledige Niet-CUDA Stack: OSUM-Pangu is een van de eerste fundatiemodellen voor spraakbegrip die volledig is gebouwd en getraind op Ascend NPU-hardware zonder afhankelijkheid van CUDA.
• Integratie van OpenPangu: Het koppelt succesvol de OSUM-framework voor spraakperceptie met de openPangu-7B taalbackbone, wat een nieuwe standaard zet voor multimodale AI op Chinese hardware.
• Intentie-bewuste Training: Het introduceert een trainingsstrategie die het model in staat stelt vrije natuurlijke taal instructies te interpreteren (in plaats van vaste prompts), wat leidt tot een hoge "Instruction Following Rate" (IFR).
• Open Source Baseline: Het paper levert reproduceerbare code en gewichten, waardoor de open-source gemeenschap een benchmark krijgt voor onderzoek in niet-CUDA omgevingen.

4. Resultaten

De experimenten tonen aan dat OSUM-Pangu concurrerende prestaties levert ten opzichte van GPU-gebaseerde modellen:

• Taakprestaties: Het model bereikt nauwkeurigheid die vergelijkbaar is met of zelfs beter is dan mainstream modellen zoals Qwen2-Audio en OSUM op diverse taken:
  • ASR (Automatische Spraakherkenning): Competitieve foutpercentages (WER/CER) op datasets zoals WenetSpeech en LibriSpeech.
  • Paralinguïstische Taken: Uitstekende resultaten in Leeftijdsvoorspelling (Age Prediction) en Stijlherkenning, waar het zelfs de GPU-baselines overtreft.
• Instructievolgende Rate (IFR): Het model bereikt een IFR van 90,2%, wat aanzienlijk hoger is dan de getrainde baseline Qwen2Audio-Instruct (71,3%). Dit bewijst dat het model natuurlijke taal instructies correct kan interpreteren en uitvoeren.
• Robuustheid: Er is slechts een minimale prestatiedaling waargenomen bij het schakelen van vaste instructies naar vrije natuurlijke taal prompts, wat aantoont dat het model flexibel is zonder aan nauwkeurigheid in te boeten.
• STTC (Speech-to-Text Chat): Hoewel het achterblijft bij gesloten commerciële modellen (zoals GPT-4o), presteert het beter dan gespecialiseerde open-source modellen op benchmarks zoals TriviaQA.

5. Betekenis en Impact

OSUM-Pangu is een mijlpaal voor de onafhankelijke evolutie van multimodale intelligentie.

• Hardware Diversificatie: Het bewijst dat alternatieve AI-accelerators (Ascend NPU) in staat zijn om high-fidelity spraakmodellen te draaien die vergelijkbaar zijn met GPU-ecosystemen, wat de afhankelijkheid van NVIDIA CUDA vermindert.
• Toekomstgericht Onderzoek: Het biedt een reproduceerbare basis voor onderzoekers om te experimenteren met multimodale spraakbegrip op niet-CUDA hardware.
• Toegankelijkheid: Door het open-source karakter en de focus op natuurlijke taal interactie, maakt het geavanceerde spraaktechnologie toegankelijker voor een bredere gemeenschap die niet gebonden is aan specifieke GPU-ecosystemen.

Kortom, OSUM-Pangu sluit de kloof tussen akoestische perceptie en natuurlijke taal interactie binnen een volledig niet-CUDA omgeving, en demonstreert dat open-source multimodale AI op alternatieve hardware een realiteit is.