OSUM-Pangu: An Open-Source Multidimension Speech Understanding Foundation Model Built upon OpenPangu on Ascend NPUs

O artigo apresenta o OSUM-Pangu, um modelo de fundação de compreensão de fala totalmente open-source desenvolvido na plataforma Ascend NPU sem dependência de CUDA, que integra um encoder de áudio ao LLM OpenPangu-7B para alcançar desempenho comparável a modelos baseados em GPU enquanto promove a evolução independente da inteligência multimodal.

O essencial

Imagine que você tem um super-herói da inteligência artificial chamado OSUM-Pangu. A missão dele é entender não apenas o que as pessoas dizem, mas também como elas dizem (são felizes, tristes, quantos anos têm, etc.).

Aqui está a história desse projeto, contada de forma simples:

1. O Problema: A "Fábrica" de Computadores

Até hoje, a maioria desses super-heróis de IA foi treinada e vive em uma "fábrica" muito específica chamada NVIDIA CUDA (que usa placas de vídeo potentes). É como se todos os carros de corrida tivessem que usar apenas um tipo específico de gasolina e peças de uma única marca.

O problema? Se você quiser usar esse carro em outro país ou com outro tipo de combustível, ele não funciona. Isso deixa de fora muitas tecnologias e computadores que não usam essa "gasolina" específica (como os chips Ascend NPU, muito comuns na China e em outros lugares).

2. A Solução: O OSUM-Pangu

Os pesquisadores da Universidade Politécnica do Noroeste (na China) criaram o OSUM-Pangu. Eles pegaram um modelo de linguagem gigante e aberto (chamado openPangu) e o conectaram a um "ouvido" digital (um encoder de áudio).

A Grande Inovação:
Eles conseguiram fazer esse super-herói funcionar 100% em chips Ascend NPU, sem precisar da "gasolina" NVIDIA CUDA. É como se eles tivessem construído um carro que roda perfeitamente em qualquer tipo de terreno e com qualquer combustível, sem perder velocidade.

3. Como Ele Aprende? (O Treinamento em 3 Etapas)

Para ensinar o robô a entender tudo isso, eles usaram um método inteligente, como se estivessem treinando um aluno para uma prova difícil:

• Etapa 1: Ouvir e Identificar. Primeiro, eles ensinaram o robô a ouvir o áudio e dizer: "Isso é uma transcrição (ASR)" ou "Isso é uma voz de criança". É como ensinar a criança a reconhecer sons.
• Etapa 2: Entender a Intenção. Depois, eles ensinaram o robô a ler o que o humano escreveu. Se você perguntar "Quantos anos essa pessoa tem?", ele precisa entender que você quer uma estimativa de idade, e não uma transcrição.
• Etapa 3: Juntar Tudo. Finalmente, eles misturaram as duas coisas. Agora, o robô ouve o áudio, lê a sua pergunta em linguagem natural e responde exatamente o que você pediu, sem precisar de comandos rígidos.

4. O Resultado: Um "Poliglota" de Áudio

O OSUM-Pangu é incrível porque:

• É Aberto: Todo mundo pode usar, estudar e melhorar (é "Open-Source").
• É Inteligente: Ele consegue seguir instruções naturais. Você pode perguntar: "O que essa gravação diz? A pessoa parece jovem?" e ele responde: "A pessoa diz 'Olá', e parece ter cerca de 30 anos".
• É Competitivo: Mesmo rodando em chips diferentes (NPU), ele compete de igual para igual com os modelos mais famosos que rodam em placas de vídeo caras (GPU). Na verdade, em algumas tarefas, como detectar a idade ou o estilo da voz, ele até venceu os concorrentes!

5. Por que isso importa?

Imagine que a IA é uma biblioteca gigante. Até agora, essa biblioteca só podia ser acessada por quem tinha um "cartão de membro" muito caro e específico (os chips NVIDIA).

Com o OSUM-Pangu, os pesquisadores abriram as portas para que qualquer pessoa, em qualquer lugar, com qualquer tipo de computador moderno, possa usar essa inteligência. Eles provaram que não é necessário depender de uma única tecnologia para criar o futuro da inteligência artificial.

Resumo da Ópera:
O OSUM-Pangu é um modelo de IA de código aberto que ouve, entende e conversa, rodando em chips alternativos (Ascend) com a mesma eficiência dos modelos tradicionais, democratizando o acesso à inteligência de voz.

Resumo técnico

Aqui está um resumo técnico detalhado do artigo OSUM-PANGU, apresentado em português:

Título: OSUM-PANGU: Um Modelo Fundacional de Entendimento de Fala Multidimensional de Código Aberto Construído sobre OpenPangu em NPUs Ascend

1. O Problema

O avanço recente em Modelos de Linguagem Grandes (LLMs) para fala tem melhorado significativamente a compreensão multidimensional da fala. No entanto, a maioria dos frameworks de alto desempenho é otimizada exclusivamente para o ecossistema baseado em NVIDIA CUDA e backbones proprietários. Isso cria uma lacuna significativa para a implantação em infraestruturas de computação alternativas (não-CUDA), como as NPUs (Unidades de Processamento Neural) da Ascend.
Além disso, modelos existentes que tentam abordar o hardware não-CUDA (como o framework OSUM original) ainda dependem de backbones de linguagem que requerem CUDA ou utilizam prompts rígidos e rótulos de tarefas fixos, limitando sua capacidade de interpretar instruções de linguagem natural livre e adaptável.

2. Metodologia

O OSUM-Pangu propõe uma solução completa de software e hardware não-CUDA, integrando um codificador de áudio ao backbone de LLM openPangu-7B, totalmente otimizado para a arquitetura Ascend NPU.

• Arquitetura do Modelo:

  • Codificador Acústico: Utiliza o encoder pré-treinado Whisper-medium para extrair embeddings acústicos (conteúdo semântico e atributos paralinguísticos). Os parâmetros do encoder permanecem congelados nas fases iniciais para estabilidade.
  • Adaptador de Modalidade: Um módulo treinável que realiza o alinhamento de recursos e a compressão temporal (downsampling de 4x via camadas convolucionais 2D e camadas Transformer) para reduzir a sequência de tokens de áudio e mapeá-la para a dimensão de embedding do LLM.
  • Backbone LLM: Utiliza o openPangu-Embedded-7B-V1.1, um modelo de linguagem pré-treinado nativamente na arquitetura Ascend NPU, garantindo compatibilidade e eficiência computacional sem dependência de CUDA.

• Estratégia de Treinamento (Pipeline de 3 Estágios):
  Para garantir o alinhamento eficiente de tarefas sob restrições de recursos não-CUDA, o treinamento é dividido em três fases sequenciais:

  1. Alinhamento de Fala Baseado em Tags: O adaptador é treinado com dados de tarefas únicas e múltiplas, usando tags fixas (ex: <asr>, <age>) para garantir que o adaptador extraia informações acústicas semanticamente alinhadas ao espaço do LLM.
  2. Percepção de Intenção Baseada em Texto: O LLM é treinado para reconhecer a intenção do usuário a partir de instruções em linguagem natural (sem áudio), convertendo expressões diversas em identificadores de tarefas estruturados.
  3. Integração Multimodal Conjunta: O modelo recebe instruções naturais e sinais de áudio simultaneamente, aprendendo a inferir a intenção do usuário e executar a tarefa de análise de fala apropriada, gerando saídas estruturadas com identificadores de tarefa e conteúdo semântico.

• Infraestrutura: Todo o pipeline de treinamento e inferência é executado no cluster de NPUs Ascend 910B utilizando o stack de software CANN.

3. Principais Contribuições

• Primeiro Modelo Fundacional de Fala Não-CUDA: Apresenta um pipeline completo de treinamento e inferência de um modelo de entendimento de fala multidimensional rodando nativamente em NPUs Ascend, eliminando a dependência de CUDA.
• Integração OpenPangu + OSUM: Combina a forte capacidade de percepção de fala do framework OSUM com o backbone openPangu-7B, criando uma pilha tecnológica totalmente independente e otimizada para hardware chinês.
• Estratégia de Intenção Consciente: Desenvolve uma abordagem de treinamento que permite ao modelo interpretar instruções em linguagem natural livre (sem prompts rígidos), alcançando uma alta taxa de seguimento de instruções.
• Reprodutibilidade: O código e os pesos do modelo são liberados como código aberto, estabelecendo uma linha de base reprodutível para a comunidade de pesquisa de fala em ambientes não-CUDA.

4. Resultados

Os experimentos demonstram que o OSUM-Pangu alcança desempenho competitivo em comparação com modelos baseados em GPU:

• Desempenho em Tarefas de Fala: O modelo atingiu precisão comparável ou superior em várias dimensões (ASR, detecção de emoção, reconhecimento de gênero, etc.) em relação a modelos como Qwen2-Audio e OSUM original. Destaca-se em Previsão de Idade e Reconhecimento de Estilo, onde superou os benchmarks baseados em GPU.
• Seguimento de Instruções (IFR): O modelo alcançou uma Taxa de Seguimento de Instruções (IFR) de 90,2%, superando significativamente o baseline ajustado para instruções (Qwen2Audio-Instruct, que teve 71,3%).
• Robustez: A comparação entre instruções fixas e linguagem natural mostrou que o desempenho do modelo permanece estável, com degradação mínima na maioria das tarefas, provando que a flexibilidade de interação não compromete a precisão acústica.
• Diálogo Falado: Em tarefas de chat de fala para texto (STTC), o modelo superou vários modelos especializados, embora fique atrás de modelos comerciais de ponta como o GPT-4o, validando o potencial de LLMs não-CUDA para diálogos abertos.

5. Significado e Impacto

O trabalho do OSUM-Pangu é fundamental para promover a evolução independente da inteligência multimodal. Ao demonstrar que infraestruturas de aceleradores de IA alternativas (como Ascend NPU) podem atingir níveis de desempenho comparáveis aos ecossistemas dominantes baseados em CUDA, o artigo:

1. Reduz a barreira de entrada para pesquisadores e desenvolvedores que não têm acesso a hardware NVIDIA.
2. Oferece uma solução viável para a soberania tecnológica em IA, permitindo o desenvolvimento de modelos de ponta em ecossistemas de hardware diversificados.
3. Estabelece um novo padrão para a pesquisa de modelos fundacionais de fala, provando que a integração de percepção acústica e raciocínio linguístico pode ser realizada com eficiência em plataformas não-CUDA.