OSUM-Pangu: An Open-Source Multidimension Speech Understanding Foundation Model Built upon OpenPangu on Ascend NPUs

이 논문은 GPU 기반 생태계에 의존하지 않고 아센드 (Ascend) NPU 하드웨어와 오픈파누 (OpenPangu) LLM 을 기반으로 구축된 최초의 완전 오픈소스 다차원 음성 이해 기반 모델인 OSUM-Pangu 를 소개하며, 비 CUDA 환경에서도 주요 GPU 기반 모델과 유사한 성능을 달성함을 보여줍니다.

핵심

🎧 OSUM-Pangu: "CUDA 없는 세상"에서 노래하는 AI

1. 문제 상황: "비싼 GPU"만 쓰는 AI 들
지금까지 개발된 대부분의 고성능 음성 AI(예: 사람의 목소리를 듣고 감정을 파악하거나 내용을 요약하는 AI) 는 NVIDIA 의 GPU(그래픽 카드) 라는 특수한 엔진 위에서만 잘 돌아갑니다.

• 비유: 마치 "고급 스포츠카 (GPU)"만 있어야만 달릴 수 있는 레이싱 게임처럼, 다른 엔진 (예: 화웨이 Ascend NPU) 이 있는 차에서는 이 게임이 아예 실행되지 않거나 매우 느리게 돌아갑니다.
• 문제점: 이 때문에 중국이나 다른 국가처럼 GPU 대신 자체 개발한 칩 (NPU) 을 쓰는 곳에서는 최신 음성 AI 를 쓰기 어렵다는 '기술적 장벽'이 있었습니다.

2. 해결책: OSUM-Pangu 의 등장
이 논문은 "CUDA(NVIDIA 엔진)라고 선언합니다.

• 핵심 아이디어: 기존에 잘 만들어진 음성 이해 기술 (OSUM) 과, 화웨이 Ascend 칩에 최적화된 거대 언어 모델 (openPangu-7B) 을 합쳤습니다.
• 비유: 마치 "레이싱 게임 (음성 AI) 을 고가의 스포츠카 엔진이 아닌, 우리 동네에서 쉽게 구할 수 있는 튜닝된 엔진 (Ascend NPU) 으로도 똑같이 잘 달릴 수 있게 개조한 것"입니다.

3. 어떻게 작동할까? (3 단계 훈련 과정)
이 AI 가 말을 잘 이해하도록 가르치는 과정은 3 단계로 나뉩니다.

• 1 단계 (귀 훈련): AI 가 소리를 듣고 내용을 파악하는 법을 배웁니다. (예: "이 소리는 '안녕하세요'다.")
• 2 단계 (의도 파악 훈련): 사람이 하는 말의 뉘앙스를 읽는 법을 배웁니다. (예: 사용자가 "이 노래 가사가 뭐야?"라고 묻든 "노래 내용 알려줘"라고 묻든, 둘 다 '가사 요약'이라는 의도임을 알아챕니다.)
• 3 단계 (합체 훈련): 소리와 의도를 동시에 처리합니다. 사용자가 "이 목소리를 듣고 나이가 몇 살인지 알려줘"라고 하면, AI 는 소리를 분석하고 나이를 추측한 뒤 정답을 말합니다.

4. 놀라운 결과

• 성능: 이 모델은 비싼 GPU 위에서 돌아가는 유명 모델들과 비슷하거나 오히려 더 좋은 성능을 보여주었습니다. 특히 '화자의 나이 추정'이나 '말투 분석' 같은 작업에서는 매우 뛰어났습니다.
• 지시 따르기 (Instruction Following): 사용자가 복잡한 문장으로 "이 소리가 무슨 뜻이고, 화자는 몇 살쯤 될까?"라고 물으면, AI 는 이를 정확히 이해하고 필요한 작업을 순서대로 수행합니다. (정답률 90.2% 달성!)

5. 왜 중요한가요?
이 연구는 **"AI 의 미래는 특정 회사의 칩 **(GPU)을 보여줍니다.

• 비유: 이전에는 "고급 AI 를 쓰려면 반드시 이 회사의 비싼 엔진을 사야 한다"는 독점 구조였는데, OSUM-Pangu 는 "우리도 다른 엔진으로 똑똑한 AI 를 만들 수 있다"는 것을 증명했습니다.
• 의의: 앞으로 전 세계 어디서나, 어떤 하드웨어를 쓰든 누구나 오픈소스 (무료 공개) 로 이 기술을 활용해 음성 AI 를 개발할 수 있는 길이 열렸습니다.

📝 한 줄 요약

"OSUM-Pangu 는 비싼 NVIDIA 칩이 없어도, 화웨이 칩 위에서 똑똑하게 소리를 듣고 사람의 의도를 파악하는 새로운 오픈소스 AI 입니다."

기술 요약

논문 요약: OSUM-Pangu (Ascend NPU 기반 오픈소스 다차원 음성 이해 기초 모델)

1. 문제 정의 (Problem)

최근 음성 대형 언어 모델 (Speech LLM) 의 발전으로 다차원 음성 이해 능력이 크게 향상되었으나, 다음과 같은 주요 한계점이 존재합니다.

• CUDA 생태계 의존성: 대부분의 고성능 프레임워크는 NVIDIA GPU 와 CUDA 생태계에 최적화되어 있어, 비-CUDA (Non-CUDA) 컴퓨팅 인프라 (예: Ascend NPU) 에 배포하는 데 큰 장벽이 있습니다.
• 기존 모델의 한계: NPU 플랫폼에 적응된 OSUM 프레임워크가 존재하지만, 그 백본 언어 모델 (Qwen2) 이 여전히 CUDA 에 의존하며 NPU 에 대한 네이티브 최적화가 부족합니다. 또한, 기존 모델은 고정된 태스크 태그나 프롬프트에 의존하여 사용자의 자유로운 자연어 의도를 해석하는 데 한계가 있습니다.

2. 방법론 (Methodology)

이 논문은 비-CUDA 환경에서 고성능 음성 이해를 달성하기 위해 OSUM-Pangu를 제안합니다. 이는 Ascend NPU 하드웨어와 OpenPangu-7B 언어 모델을 기반으로 구축된 완전한 오픈소스 스택입니다.

• 모델 아키텍처:

  • 음성 인코더 (Acoustic Encoder): Whisper-medium encoder 를 사용하여 음향 신호를 임베딩으로 변환합니다.
  • 모달리티 어댑터 (Modality Adapter): 2D 컨볼루션과 Transformer 레이어를 통해 시간적 다운샘플링 (4 배) 및 특징 정렬을 수행하여 LLM 이 긴 오디오를 효율적으로 처리하도록 합니다.
  • LLM 백본: Ascend NPU 에서 최적화된 OpenPangu-Embedded-7B-V1.1을 백본으로 사용하여 CUDA 없이도 엔드 - 투 - 엔드 학습 및 추론이 가능합니다.
  • 입력 구조: 텍스트 지시어와 음성 토큰을 혼합하여 입력받으며, 태스크별 식별자 (예: <asr>, <age>) 를 출력에 포함하여 태스크 라우팅을 수행합니다.

• 3 단계 학습 파이프라인:

  1. 태스크 기반 음성 정렬 (Stage I): 고정된 태스크 태그를 사용하여 어댑터와 LLM 간의 음향 - 언어 정렬을 학습합니다.
  2. 텍스트 기반 의도 인식 (Stage II): 오디오 없이 자연어 지시어만 입력받아 사용자의 의도를 구조화된 태스크 식별자로 변환하는 능력을 학습합니다.
  3. 결합된 멀티모달 통합 (Stage III): 자연어 지시어와 원본 오디오를 동시에 입력받아, 사용자의 의도를 추론하고 해당 음성 분석 태스크를 수행하도록 학습합니다.

• 평가 지표:

  • 지시 따르기 비율 (Instruction Following Rate, IFR): 사용자가 다양한 자연어로 표현한 지시를 모델이 올바르게 이해하고 수행한 비율을 평가합니다. (DeepSeek-V3 를 '판사' 모델로 활용하여 평가)

3. 주요 기여 (Key Contributions)

• 완전한 비-CUDA 스택 구현: Ascend NPU 하드웨어와 OpenPangu LLM 을 결합하여, CUDA 없이도 음성 이해 기초 모델을 학습하고 추론할 수 있는 첫 번째 오픈소스 파운데이션 모델을 제시했습니다.
• 유연한 의도 인식: 고정된 프롬프트에 의존하지 않고, 자유로운 자연어 지시를 통해 다양한 음성 태스크 (음성 인식, 화자 나이 예측, 감정 인식 등) 를 자동으로 라우팅할 수 있는 능력을 확보했습니다.
• 재현 가능한 베이스라인: 비-CUDA 환경에서의 멀티모달 음성 이해 연구를 위한 재현 가능한 기준점 (Baseline) 을 제공하여, CUDA 생태계 외의 독립적인 AI 진화를 촉진합니다.

4. 실험 결과 (Results)

• 성능 비교: OSUM-Pangu 는 GPU 기반의 주요 모델 (Qwen2-Audio, OSUM) 과 비교하여 경쟁력 있는 성능을 달성했습니다.
  • ASR (음성 인식): LibriSpeech 등 주요 벤치마크에서 GPU 모델과 유사한 오차율 (WER/CER) 을 기록했습니다.
  • 화자 나이 예측 (Age Prediction) 및 스타일 인식: 오히려 기존 모델보다 우수한 성능을 보여주었습니다.
• 지시 따르기 (Instruction Following):
  • IFR 90.2%: 다양한 자연어 지시 하에서 90.2% 의 높은 의도 인식 정확도를 달성하여, Qwen2Audio-Instruct(71.3%) 를 크게 상회했습니다.
  • 고정 지시 vs 자연어: 고정된 지시 템플릿과 자연어 지시 간 성능 차이가 미미하여, 모델이 유연한 지시 하에서도 안정적인 음성 인식 능력을 유지함을 입증했습니다.
• STTC (음성 - 텍스트 챗): 일반 대화형 AI 에 비해 다소 낮지만, 전문 음성 모델들보다 우수한 추론 능력을 보여주며 오픈 도메인 대화 시스템으로서의 가능성을 입증했습니다.

5. 의의 및 결론 (Significance)

• 하드웨어 다양성 확보: 이 연구는 AI 가속기 인프라가 NVIDIA GPU 에 국한될 필요가 없음을 증명했습니다. Ascend NPU 와 같은 대안적 하드웨어에서도 고품질의 멀티모달 음성 이해가 가능함을 보여줍니다.
• 오픈 생태계 확장: OSUM-Pangu 는 오픈소스 커뮤니티에 비-CUDA 환경에서의 재현 가능한 고품질 베이스라인을 제공하며, 향후 비 CUDA 기반의 멀티모달 음성 이해 연구의 토대를 마련했습니다.
• 실용성: 사용자의 자연어 의도를 유연하게 해석하고 다양한 태스크를 수행할 수 있는 능력은 실제 배포 환경에서의 적용성을 크게 높였습니다.

이 논문은 CUDA 생태계의 독점을 탈피하고, 다양한 하드웨어 아키텍처에서 오픈소스 멀티모달 AI 가 독립적으로 진화할 수 있는 중요한 이정표가 됩니다.