🤖 AI

Speech Meets ELF: Audio Conditional Continuous-Target Diffusion for Speech Recognition and Translation

이 논문은 ELF 백본을 활용하여 경쟁력 있는 음성 인식 및 번역 성능을 달성하는 동시에, 두 작업 모두에서 발생하는 오류가 동일한 근본적인 잠재 공간 혼란에서 기인한다는 점을 밝혀내는 오디오 조건부 연속 타겟 확산 모델인 ELF-S2T를 제안한다.

원저자: Xuanchen Li, Tianrui Wang, Yuheng Lu, Zikang Huang, Yu Jiang, Chenghan Lin, Chenrui Cui, Ziyang Ma, Xingyu Ma, Chunyu Qiang, Guochen Yu, Xie Chen, Longbiao Wang, Jianwu Dang

게시일 2026-06-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xuanchen Li, Tianrui Wang, Yuheng Lu, Zikang Huang, Yu Jiang, Chenghan Lin, Chenrui Cui, Ziyang Ma, Xingyu Ma, Chunyu Qiang, Guochen Yu, Xie Chen, Longbiao Wang, Jianwu Dang

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 누군가의 음성 녹음을 텍어(written text)로 번역하려고 노력하고 있다고 상상해 보세요. 보통 컴퓨터는 모든 칸에 특정 글자가 들어가야 하는 크로스워드 퍼즐을 채우는 것처럼, 한 번에 한 단어씩 추측하며 이 작업을 수행합니다.

이 논문은 ELF-S2T라고 불리는 새로운 방식을 소개합니다. 단어 단위로 추측하는 대신, 문장 전체를 "정적 소음"에서 명확한 문장으로 서서히 변하는 하나의 매끄럽고 연속적인 형상(shape)으로 취급합니다.

다음은 이 기술이 어떻게 작동하는지에 대한 쉬운 비유를 곁들인 설명입니다.

1. 기존 방식 vs 새로운 방식

기존 방식 (이산적 토큰 - Discrete Tokens): 개별 레고 블록만을 사용하여 그림을 그려야 한다고 상상해 보세요. 당신은 특정 블록(단어)을 골라 딱 맞게 끼워 넣어야 합니다. 만약 잘못된 블록을 고르면 그림이 망가집니다. 대부분의 음성 시스템은 이 방식으로 작동합니다. 즉, 단어를 하나 고르고, 그다음 단어를 고르고, 그다음 단어를 고르는 식입니다.
새로운 방식 (연속적 공간 - Continuous Space): 문장이 찰흙 덩어리라고 상상해 보세요. 처음에는 그냥 형태가 없는 엉망진창인 소음 덩어리입니다. 컴퓨터의 임무는 이 덩어리를 부드럽게 빚어서, 완벽한 문장의 형태를 갖출 때까지 매끄럽게 만드는 것입니다. 컴퓨터는 마지막 순간, 즉 찰흙을 단어로 최종적으로 자르기 전까지는 구체적인 "블록"을 결정하지 않습니다. 이것을 **연속적 타겟 확산(continuous-target diffusion)**이라고 부릅니다.

2. 문제점: 컴퓨터가 "몽상"을 하고 있다

연구진은 이 새로운 "찰흙 빚기" 방식에서 주요한 문제를 발견했습니다. 컴퓨터는 이미 텍스트를 쓰는 법을 매우 잘 알고 있기 때문에(방대한 양의 텍스트로 학습되었기 때문), 실제 오디오 녹음 내용을 무시하는 경향이 있다는 것입니다.

비유: 선생님이 문제를 읽어주는 동안 시험을 치르는 학생을 상상해 보세요. 만약 학생이 이미 답을 외우고 있다면, 선생님의 실제 목소리를 무시하고 자신이 생각하는 답을 적어 내려갈 수 있습니다. 컴퓨터도 정확히 이와 같았습니다. 즉, 음성을 무시하고 자신의 기억에 기반해 텍스트를 "추측"하고 있었던 것입니다.

3. 해결책: "오디오 강제(Audio Forcing)"와 "오디오 가이드(Audio Guidance)"

이를 해결하기 위해 저자들은 컴퓨터가 오디오에 귀를 기울이게 만드는 두 가지 기술을 발명했습니다.

오디오 강제 (눈 가리기 기술 - "Blindfold" Trick): 학습 과정에서, 그들은 의도적으로 "텍스트 찰흙"을 매우 지저고 읽기 어렵게 만들었습니다. 그들은 본질적으로 이렇게 말한 것입니다. "이제 텍스트 단서를 그냥 봐서는 안 돼. 텍스트가 너무 흐릿하니까. 너는 반드시 오디오 녹음을 보고 문장이 무엇인지 알아내야 해." 이를 통해 모델이 소리에 의존하도록 강제했습니다.
오디오 가이드 (더블 체크 - "Double Check"): 실제로 작업을 수행할 때(추론 시), 컴퓨터는 두 번 실행됩니다. 한 번은 오디오를 듣고, 다른 한 번은 오디오가 존재하지 않는다고 가정하고 실행합니다. 그런 다음 두 결과를 결합하여, 오디오를 들었던 버전 쪽으로 최종 답변을 강력하게 밀어붙입니다. 이는 마치 두 사람에게 길을 묻되, 실제로 지도를 본 사람의 답변에 훨씬 더 큰 비중을 두는 것과 같습니다.

4. 결과: 성공적이다!

연구팀은 두 가지 작업으로 테스트를 진행했습니다.

음성 인식 (ASR): 영어 음성을 영어 텍스트로 변환.
음성 번역 (S2TT): 독일어 음성을 영어 텍스트로 변환.

그들은 자신들의 새로운 시스템이 매우 경쟁력이 있다는 것을 발견했습니다. 이들은 다른 "확산(diffusion)" 시스템(마찬가지로 소음에서 찰흙으로 만드는 방식을 사용하는 시스템)보다 뛰어났으며, 심지어 표준적인 "단어 단위" 시스템보다 번역에서 더 나은 성능을 보였습니다. 이는 해당 유형의 시스템 중 번역 결과를 성공적으로 보고한 첫 번째 사례입니다.

5. 거대한 발견: 왜 오류가 발생하는가?

이 논문의 가장 흥란한 부분은 오류를 분석하는 방식입니다.

표면적인 현상:
- **인식 오류(Recognition errors)**는 오타처럼 보였습니다 (예: "circumvention" 대신 "circumcession"이라고 쓰는 것).
- **번역 오류(Translation errors)**는 문장 전체의 의미가 벗어나는 것처럼 보였습니다 (예: "safety"를 "security"로 바꾸는 것).
- 마치 두 가지 서로 다른 문제처럼 보였습니다.
내부적인 현 현상 (잠재 공간 - Latent Space):
연구진은 찰흙이 단어로 잘리기 전의 상태를 들여 들여다보았습니다. 그들은 두 종류의 오류 모두 정확히 같은 원인에서 비롯되었다는 것을 발견했습니다.
- 비유: 정답이 숲속에 있는 특정 나무라고 상상해 보세요.
  - 음성 인식의 경우, 컴퓨터의 "찰흙"은 정답인 나무와 매우 가까운 곳에 착륙했지만, 약간 다른 나무(예: 다른 종의 소나무)에 착륙했습니다. 이것이 단어로 잘렸을 때 철자 오류처럼 보인 것입니다.
  - 번역의 경우, 컴퓨터의 "찰흙" 역시 정답인 나무와 매우 가까운 곳에 착륙했지만, 번역이 더 어렵기 때문에 그 작은 거리 차이가 완전히 다른 문장으로 커져 버렸습니다.
- 결론: 두 오류 모두 본질적으로 동일한 문제입니다. 즉, 컴퓨터가 의미의 "형태(shape)"를 아주 약간 잘못 잡은 것입니다. 내부적인 "찰흙" 공간에서 목표 지점에서 아주 미세하게 벗어난 것이었죠. 이 작은 실수는 한 작업에서는 작게 보였고, 다른 작업에서는 크게 보였지만, 근본적인 원인은 동일했습니다.

요약

이 논문은 언어를 단어 단위로 조립하는 대신, 언어의 연속적인 "형태"를 빚어내는 방식으로 음성을 텍스트로 변환하는 새로운 방법을 제시합니다. 그들은 컴퓨터가 오디오를 무시하는 문제를 해결하기 위해 듣기를 강제했습니다. 마지막으로, 컴퓨터가 작은 오타를 내든 큰 번역 오류를 내든, 그것은 대개 내부적인 정신 지도에서 "잘못된 나무"에 아주 살짝 잘못 착륙했기 때문이라는 사실을 발견했습니다.

기술 요약: ELF-S2T

문제 정의
현재의 자동 음성 인식(ASR) 및 음성-텍스트 번역(S2TT)을 위한 음성-텍스트 변환(S2T) 시스템은 주로 이산 토큰(discrete-token) 자기회귀 모델에 의존합니다. 최근 연구에서 비자기회귀 대안으로서 이산 토큰 확산(diffusion) 모델을 탐색하기도 했으나, 이러한 접근 방식은 여전히 이산 토큰 공간 내에서 작동합니다. 반면, 연속적 타겟 언어 모델링(예: ELF, Cola-DLM)은 텍스트 생성이 연속적인 임베딩 공간 내에서 효과적으로 수행될 수 있음을 입증하였으며, 이는 강제적인 이산화 과정 없이 본질적으로 연속적인 음성 신호를 텍스트로 매핑하기 위한 이론적으로 자연스러운 패러다임을 제공합니다. 그러나 연속적 타겟 확산을 S2T에 적용하는 것은 아직 탐구되지 않은 영역입니다. 핵심 과제는 교차 모달 정렬(cross-modal alignment)에 있습니다. 사전 학습된 연속적 텍스트 모델은 강력한 내부 언어 사전 지식(prior)을 가지고 있어, 오디오 입력을 무시하고 문장을 완성하기 위해 텍xt 문맥에만 의존하는 경향이 있습니다. 본 논문은 연속적 타겟 언어 모델을 음성 신호와 어떻게 깊게 결합하여 생성이 실제로 오디오에 근거하도록(grounded) 보장할 것인가를 다룹니다.

방법론
저자들은 오디오 조건부 연속적 타겟 생성 모델인 ELF-S2T를 제안합니다. 이 아키텍처와 학습 전략은 모델이 텍스트 사전 지식에만 의존하지 않고 오디오 특징을 활용하도록 강제하도록 설계되었습니다.

아키텍처: 모델은 사전 학습된 Embedded Language Flows (ELF) 백본을 기반으로 구축됩니다. 고정된 Whisper-large-v3 인코더를 사용하여 음성 입력 $s$ 를 처리하여 특징 $h$ 를 생성합니다. 단일 선형 프로젝터 $P$ 는 이 특징들을 텍스트 잠재 차원으로 매핑하여 오디오 조건 $a$ 를 생성합니다. 이 조건은 노이즈가 섞인 텍스트 잠재 변수 $z_t$ 앞에 붙여져 ELF 트랜스포머에 입력됩니다. 모델은 가우시안 노이즈로부터 타겟 잠재 표현을 향해 디노이징하는 연속 흐름 매칭(flow-matching) 프레임워크 내에서 작동합니다. 토큰은 최종 단계( $t=1$ )에서만 언임베딩(unembedded/decoded)됩니다.
그라운딩(Grounding)을 위한 학습 전략: 모델이 텍스트 문맥에 과도하게 의존하는 것을 방지하기 위해 두 가지 특정 메커니즘이 도입되었습니다.
1. 오디오 포싱(Audio Forcing): 학습 중에 디코드 헤드는 신호 대 잡음비(SNR)가 의도적으로 저하된(무작위 신호 레벨 $\lambda$ 를 낮은 값 쪽으로 이동시킨) 노이즈 섞인 잠재 변수 $z_{dec}$ 에 대해 감독됩니다. 이는 텍스트 잠재 변수만으로는 타겟을 복구하기에 불충분하게 만들어, 모델이 콘텐츠를 재구성하기 위해 오디오 조건에 주의를 기울이도록 강제합니다.
2. 분류기 없는 가이던스(Classifier-Free Guidance, ACFG): 추론 시 조건화를 강화하기 위해, 오디오 조건을 제외한 비율(10%)로 무조건부 브랜치를 학습시킵니다. 추론 시에는 조건부 예측과 무조건부 예측을 가이던스 스케일 $w$ 를 사용하여 결합함으로써 출력을 오디오 조건부 예측 쪽으로 밀어냅니다.
추론: 모델은 오디오 가이던스 하에 확률적 샘플러(SDE)를 사용하여 $t=0$ 에서 $t=1$ 까지 흐름을 반복적으로 통합하며 텍스트를 생성합니다. 토큰 디코딩은 마지막 단계에서 단 한 번 발생합니다.

주요 기여

최초의 연속적 타겟 S2T 모델: ELF-S2T는 연속적 타겟 언어 모델링을 음성에 적용한 최초의 모델로, ASR 및 S2TT 모두에서 경쟁력 있는 성능을 달축했습니다. 또한 S2TT 결과를 보고한 최초의 확산 기반 S2T 시스템입니다.
그라운딩 메커니즘: 오디오 포싱과 분류기 없는 가이던스 전략을 도입하여 연속적 타겟 모델의 "텍스트 사전 지식" 문제를 효과적으로 완화하였으며, 이러한 접근 방식이 백본 용량에 따라 일관되게 확장됨을 입 ด้วย습니다.
통합 오류 분석: 연속적 타겟 공간을 활용함으로써, 저자들은 겉보기에 달라 보이는 ASR 및 S2TT 오류(서브워드 왜곡 vs. 문장 수준의 이탈)가 공통된 근본 원인을 공유함을 밝혀냈습니다. 즉, **근접 거리 혼동(close-distance confusion)**이 연속 잠재 공간 내에서 발생합니다. 두 작업 모두 오디오 조건부 매핑이 실제 참조값보다 약간 더 가까운, 의미론적으로 연관된 잘못된 가설 지점에 착륙하는 문제를 포함합니다.

실험 결과
실험은 LibriSpeech (ASert) 및 CoVoST2 (S2TT, 독일어-영어)에서 수행되었습니다.

ASR 성능: LibriSpeech test-clean에서 ELF-S2T (ELF-L 백본)는 **5.69%**의 단어 오류율(WER)을 달성했습니다. 이는 자기회귀 방식인 Whisper-large-v3 참조 모델(1.97%)보다는 높지만, 기존의 이산 토큰 확산 베이스라인(Whisfusion: 8.30%, TransFusion: 6.10%)보다는 우수한 성능을 보였습니다.
S2TT 성능: CoVoST2 de→en에서 ELF-S2T는 28.55 BLEU 및 54.91 chrF를 달성하여 Whisper-large-v3 참조 모델(26.23 BLEU)을 능가했습니다.
스케일링: 성능은 백본 크기(ELF-B에서 ELF-L로)에 따라 단조 증가하였으며, WER은 10.50%에서 5.69%로 감소하고 BLEU는 25.35에서 28.55로 상승했습니다.
절제 실험(Ablation): 오디오 포싱이 그라운딩의 주요 동인으로 확인되었으며, ELF-B 백본에서 WER을 11.11%에서 10.50%로 낮추었습니다. 오디오 가이던스(ACFG)는 스케일 $w=2.0$ 에서 최적의 지점을 보였습니다.

의의 및 주장
본 논문은 ELF-S2T가 음성 작업을 위한 연속적 타겟 확산의 실행 가능성을 입증하며, 이산 토큰화에 대한 이론적으로 우아한 대안을 제공한다고 주장합니다. 가장 중요한 발견은 오류 분석입니다. 연속적 잠재 공간을 통해 생성 편차를 기하학적 거리로 측정할 수 있습니다. 저자들은 ASR과 S2TT 오류의 외견상 차이가 연속 잠재 공간에서의 '근접 거리 혼동'(모델이 실제 참조값보다 약간 더 가까운, 의미론적으로 연관된 잘못된 이웃을 선택하는 현상)이라는 동일한 근본적 실패 모드에서 기인한 격의 차이(단어 단위 vs. 문장 단위)일 뿐이라고 주장합니다. 이는 인식과 번역을 위한 통일된 의미론적 매핑 프로세스를 시사하며, 향후 개선 방향이 두 작업의 서로 다른 실패 원인을 다루는 것이 아니라 오디오-잠재 매핑을 강화하는 데 있음을 시사합니다.

한계점
저자들은 WER 격차가 일부 의미 보존적 치환 및 형태론적 변형에 대해 페널티를 부여하는 지표 특성 때문이며, 이로 인해 모델의 진정한 의미 이해 능력이 과소평가될 수 있음을 인정합니다. 또한, 확산의 반복적 특성과 분류기 없는 가이던스의 이중 패스 요구 사항으로 인해 추론 비용이 자기회귀 방식보다 높습니다. 마지막으로, 평가는 영어 및 독일어-영어 번역의 읽기 음성(read speech)으로 제한되어 있어, 노이즈가 섞인 음성이나 다른 언어 쌍을 포함하지 못한다는 한계가 있습니다.