OSUM-Pangu: An Open-Source Multidimension Speech Understanding Foundation Model Built upon OpenPangu on Ascend NPUs

L'article présente OSUM-Pangu, un modèle fondamental de compréhension de la parole open-source entièrement développé sur la pile logicielle et matérielle non-CUDA des NPU Ascend, qui atteint des performances comparables aux modèles basés sur GPU tout en favorisant l'évolution indépendante de l'intelligence multimodale.

L'essentiel

Voici une explication simple et imagée de ce papier de recherche, traduite en français pour le grand public.

🎙️ OSUM-Pangu : Le Traducteur Universel qui n'a pas besoin de "Carte NVIDIA"

Imaginez que vous avez un super-cerveau (une intelligence artificielle) capable de comprendre non seulement ce que vous dites, mais aussi qui le dit, comment il le dit, et même s'il ment ou s'il est triste. C'est ce qu'on appelle un modèle de compréhension de la parole.

Le problème ? La plupart de ces super-cerveaux actuels sont comme des voitures de course de Formule 1 : ils ne fonctionnent qu'avec un carburant très spécifique appelé CUDA (les puces graphiques NVIDIA). Si vous essayez de les mettre dans une voiture normale (d'autres puces comme celles d'Ascend), ils ne démarrent pas.

OSUM-Pangu, c'est l'équipe de chercheurs de l'Université Polytechnique du Nord-Ouest en Chine qui a décidé de construire un véhicule tout-terrain. Ils ont créé un modèle de compréhension de la parole qui fonctionne parfaitement sur des puces chinoises (Ascend NPU), sans avoir besoin du carburant NVIDIA.

Voici comment ils ont fait, avec quelques analogies :

1. Le Moteur : Un Cerveau fait sur mesure 🧠

Au lieu d'utiliser un moteur standard qui a besoin d'adaptateurs complexes, ils ont utilisé un moteur conçu spécifiquement pour le terrain chinois : openPangu-7B.

• L'analogie : Imaginez que vous voulez construire une maison. La plupart des architectes utilisent des briques américaines (NVIDIA). Ces chercheurs ont pris des briques chinoises (Ascend) et ont construit un moteur (le modèle de langage) qui s'y emboîte parfaitement dès la conception. Résultat : tout est plus fluide et efficace.

2. L'Équipe de Traduction : L'Oreille et la Bouche 👂🗣️

Le modèle est composé de trois parties principales qui travaillent ensemble :

• L'Oreille (Encodeur Audio) : C'est comme un traducteur qui écoute le son brut et le transforme en une partition de musique (des données numériques). Ils utilisent une oreille très fine (Whisper) qui reste figée pour ne pas se fatiguer.
• Le Pont (Adaptateur) : C'est le lien entre l'oreille et le cerveau. Comme le son est très long (des minutes d'audio), ce pont le compresse, un peu comme on résume un roman de 500 pages en un résumé de 5 pages pour que le cerveau puisse le lire vite.
• Le Cerveau (LLM) : C'est le chef d'orchestre. Il lit le résumé du son et répond à la question.

3. La Méthode d'Entraînement : Apprendre par étapes 🎓

Au lieu de jeter le modèle dans l'arène avec tout d'un coup, les chercheurs l'ont éduqué en trois étapes, comme un élève à l'école :

• Étape 1 : L'Apprentissage des Codes. On lui apprend à reconnaître des tâches précises avec des étiquettes rigides (ex: "Si tu vois le mot , fais une transcription"). C'est comme apprendre l'alphabet.
• Étape 2 : La Compréhension du Langage. On lui apprend à comprendre ce que les gens disent vraiment, même sans audio. Si quelqu'un dit "Quel âge a ce type ?", le cerveau comprend qu'il faut chercher l'âge, même sans le mot "âge" écrit explicitement.
• Étape 3 : La Fusion. On met tout ensemble. Le modèle écoute un son, lit la question de l'utilisateur ("Dis-moi ce qu'il dit et son âge"), et répond tout seul, sans avoir besoin d'étiquettes rigides.

4. Le Résultat : Un Champion Polyvalent 🏆

Les chercheurs ont testé leur création et voici ce qu'ils ont découvert :

• Performance : OSUM-Pangu est aussi fort que les meilleurs modèles qui tournent sur des puces NVIDIA. Il transcrit le texte, détecte les émotions, identifie le genre et l'âge du locuteur avec une grande précision.
• Intelligence : Il comprend les instructions naturelles. Si vous lui demandez : "Peux-tu me dire si cette personne a l'air fâchée ?" au lieu de "Analyse l'émotion", il comprend parfaitement et répond. Son taux de réussite est de 90,2 %.
• Indépendance : C'est la première fois qu'un tel système complet fonctionne entièrement sur une infrastructure non-NVIDIA (Ascend). C'est comme prouver qu'on peut construire un gratte-ciel aussi haut avec des matériaux locaux qu'avec des matériaux importés.

En résumé 🌟

OSUM-Pangu, c'est la preuve que l'intelligence artificielle ne doit pas être enfermée dans une seule boîte (celle de NVIDIA). En combinant un cerveau conçu pour les puces chinoises avec une méthode d'apprentissage intelligente, les chercheurs ont créé un outil libre, puissant et capable de comprendre la parole humaine dans toute sa complexité, peu importe la machine sur laquelle il tourne.

C'est une victoire pour la diversité technologique et pour l'avenir de l'intelligence artificielle ouverte à tous ! 🚀

Résumé technique

Voici un résumé technique détaillé de l'article OSUM-PANGU en français, structuré selon les points demandés.

Titre : OSUM-PANGU : Un modèle fondationnel de compréhension de la parole multidimensionnelle open-source construit sur OpenPangu et les NPU Ascend

1. Problématique

Les récents progrès des modèles de langage (LLM) appliqués à la parole ont considérablement amélioré la compréhension multidimensionnelle (reconnaissance, émotion, détection d'événements, etc.). Cependant, la majorité des cadres de travail performants sont optimisés pour l'écosystème NVIDIA CUDA et des architectures propriétaires. Cela crée un fossé significatif pour le déploiement sur des infrastructures de calcul alternatives (non-CUDA), telles que les NPU (Neural Processing Units) Ascend de Huawei.

Les défis spécifiques identifiés sont :

• Dépendance au CUDA : Les modèles existants (comme OSUM basé sur Qwen2) dépendent encore de CUDA pour leur modèle de langage de base, limitant leur portabilité.
• Rigidité des instructions : Les systèmes actuels reposent souvent sur des invites (prompts) spécifiques ou des étiquettes de tâches fixes, ce qui limite leur capacité à interpréter des instructions utilisateur en langage naturel libre.
• Manque de baselines reproductibles : Il existe peu de modèles open-source complets (entraînement et inférence) fonctionnant nativement sur des infrastructures non-CUDA.

2. Méthodologie

L'équipe propose OSUM-Pangu, une pile logicielle et matérielle entièrement non-CUDA, conçue pour fonctionner sur les NPU Ascend.

Architecture du Modèle :
Le modèle adopte une architecture modulaire composée de trois éléments principaux :

1. Encodeur Acoustique : Utilisation de l'encodeur pré-entraîné Whisper-medium (frozen) pour extraire les embeddings acoustiques et les attributs paralinguistiques.
2. Adaptateur de Modalité (Modality Adapter) : Un module entraînable comprenant des couches convolutives 2D (pour la compression temporelle 4x) et des couches Transformer. Il aligne les caractéristiques acoustiques avec l'espace d'embedding du LLM.
3. Backbone LLM : Remplacement du modèle Qwen2 par openPangu-7B (version Embedded-7B-V1.1), un LLM pré-entraîné nativement sur l'architecture Ascend NPU. Cela assure une compatibilité native et une optimisation des performances sur le matériel cible.

Stratégie d'Entraînement (Pipeline en 3 Étapes) :
Pour assurer l'alignement des tâches sans nécessiter de pré-entraînement multimodal à l'échelle industrielle, un processus progressif est utilisé :

• Étape I (Alignement Acoustique) : Entraînement de l'adaptateur et ajustement fin (LoRA) du LLM sur des tâches de parole spécifiques (ASR, détection d'âge, etc.) en utilisant des étiquettes de tâches fixes (ex: <asr>, <age>).
• Étape II (Perception d'Intention Textuelle) : Entraînement du LLM uniquement sur du texte pour reconnaître les intentions utilisateur à partir d'instructions naturelles, sans entrée audio.
• Étape III (Intégration Multimodale Jointe) : Fusion des capacités précédentes. Le modèle reçoit à la fois des instructions en langage naturel et des signaux audio, apprenant à déduire l'intention et à exécuter la tâche appropriée (ex: <asr><age>...).

Évaluation de l'Instruction :
Une métrique clé, le Taux de Respect des Instructions (IFR - Instruction Following Rate), est introduite pour mesurer la capacité du modèle à identifier et exécuter correctement la tâche demandée par l'utilisateur via un langage naturel, sans prompts rigides.

3. Contributions Clés

• Premier modèle fondationnel de parole open-source non-CUDA : OSUM-Pangu est le premier cadre complet (entraînement et inférence) fonctionnant entièrement sur la pile logicielle et matérielle Ascend (CANN + NPU 910B).
• Intégration openPangu-7B : Démonstration réussie de l'intégration d'un LLM natif Ascend avec un encodeur audio, comblant le fossé entre la perception acoustique et le raisonnement linguistique sur du matériel non-NVIDIA.
• Stratégie d'entraînement adaptative : Une approche en trois étapes qui permet au modèle de comprendre des instructions libres (langage naturel) tout en maintenant une haute précision sur des tâches techniques de parole, sans dépendre de vastes ensembles de données multimodales pré-entraînées.
• Reproductibilité : Publication du code et des poids du modèle pour fournir une baseline reproductible à la communauté de recherche sur la parole non-CUDA.

4. Résultats Expérimentaux

Les expériences ont été menées sur un cluster de NPU Ascend 910B.

• Performance des Tâches : OSUM-Pangu atteint des précisions comparables, voire supérieures, aux modèles basés sur GPU (comme Qwen2-Audio et OSUM original) sur plusieurs dimensions :
  • ASR (Reconnaissance) : Résultats compétitifs sur des ensembles de données comme WenetSpeech et LibriSpeech.
  • Détection d'Âge (SAP) et Reconnaissance de Style (SSR) : Le modèle surpasse les modèles de base GPU, atteignant 83,31 % de précision pour la détection de style.
  • Reconnaissance d'Émotions (SER) : Performance robuste (89,19 % sur MELD-test).
• Respect des Instructions (IFR) : Le modèle atteint un IFR de 90,2 %, surpassant nettement la baseline Qwen2Audio-Instruct (71,3 %). Cela prouve sa capacité à interpréter des requêtes libres.
• Robustesse : La comparaison entre des instructions fixes et du langage naturel montre une dégradation minime des performances, confirmant la flexibilité du modèle.
• Chat Parole-Texte : Bien que légèrement en retrait par rapport aux modèles commerciaux fermés (GPT-4o), OSUM-Pangu surpasse plusieurs modèles spécialisés open-source sur des benchmarks de raisonnement (TriviaQA, WebQ).

5. Signification et Impact

Ce travail marque une étape importante vers l'indépendance technologique et la diversification des infrastructures d'IA.

• Démocratisation du matériel : Il démontre que les écosystèmes non-CUDA (comme Ascend) peuvent supporter des modèles de langage multimodaux complexes de haute performance, réduisant la dépendance aux GPU NVIDIA.
• Évolution de l'IA Multimodale : En prouvant qu'un entraînement efficace est possible sur NPU, l'article ouvre la voie à une évolution indépendante de l'intelligence multimodale, essentielle pour les régions ou les organisations ayant des contraintes d'accès au matériel occidental.
• Base pour la recherche future : En fournissant une baseline open-source reproductible, OSUM-Pangu encourage la communauté à explorer et optimiser les modèles de parole sur des architectures matérielles alternatives.