⚡ electrical engineering

Extending Audio Context for Long-Form Understanding in Large Audio-Language Models

이 논문은 오디오와 텍스트의 위치 확장을 분리하는 훈련 불필요 방식인 Partial YaRN과, 긴 형식의 입력을 견고하게 이해할 수 있도록 다양한 오디오 길이를 시뮬레이션하는 전략인 Virtual Longform Audio Training(VLAT)을 제안함으로써 대규모 오디오-언어 모델의 짧은 오디오 컨텍스트 창의 한계를 다룹니다.

원저자: Yuatyong Chaichana, Pittawat Taveekitworachai, Warit Sirichotedumrong, Potsawee Manakul, Kunat Pipatanakul

게시일 2026-01-22

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yuatyong Chaichana, Pittawat Taveekitworachai, Warit Sirichotedumrong, Potsawee Manakul, Kunat Pipatanakul

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑한 사서(AI 모델)가 한 명 있다고 상상해 보세요. 이 사서는 책(텍스트)을 읽고 짧은 오디오 클립을 듣는 데 전문가입니다. 이 사서는 매우 영리하지만, 아주 구체적인 한계가 있습니다. 한 번에 30초의 오디오 클립만 들을 수 있다는 점이죠. 만약 당신이 10분짜리 팟캐스트를 틀어준다면, 사서는 혼란에 빠지거나, 길을 잃거나, 혹은 그냥 포기해 버릴 것입니다.

이 논문은 이 사서가 해고되거나 새로운 사람으로 교체되지 않도록, 긴 이야기를 듣는 법을 가르치는 방법에 관한 것입니다. 저자들은 이 문제를 해결하기 위해 두 가지 주요 비법을 제안합니다.

문제점: "짧은 기억력"을 가진 사서

현재 오디오를 이해하는 AI 모델들은 짧은 이야기만을 학습한 사서와 같습니다. 사서의 "두뇌"(텍스트 부분)는 거대해서 긴 책도 처리할 수 있지만, "귀"(오디오 부분)는 30초라는 시간의 거품 속에 갇혀 있습니다. 긴 오디오 파일을 입력하면, 이야기의 어디쯤에 있는지 기억하게 도와주는 수학적 계산이 무너져 버립니다.

해결책 1: Partial YaRN (더 "늘어나는 줄자")

첫 번째 방법은 Partial YaRN입니다. 이것은 "학습이 필요 없는(training-free)" 해결책입니다. 즉, 사서에게 무언가를 새로 가르칠 필요 없이, 단지 시간을 측정하는 방식만 바꾸면 됩니다.

비유: 사서가 이야기의 어디쯤에 있는지 파악하기 위해 줄자를 사용한다고 상상해 보세요. 보통 줄자는 딱딱하고 고정되어 있습니다. 만약 이야기가 줄자보다 길다면, 그들은 길이를 잴 수 없습니다.
기존 방식: 이전의 방법들은 책을 읽는 데 사용되는 부분까지 포함하여 줄자 전체를 늘리려고 시도했습니다. 이는 사서의 독해 능력을 망가뜨릴 위험이 있었습니다.
새로운 방식 (Partial YaRN): 저자들은 오디오 섹션에만 적용되는 특별하고 신축성 있는 줄자를 발명했습니다.
- "텍스트 부분"의 줄자는 완전히 고정된 상태로 유지하여 사서의 독해 능력이 완벽하게 유지되도록 합니다.
- 오직 "오디오 부분"의 줄자만 길게 늘려 긴 팟캐스트에 맞춥니다.
- 결과: 이제 사서는 자신의 짧은 주의 집중 시간 안에 긴 팟캐스트를 맞추기 위해 타임라인을 정신적으로 "늘림"으로써, 10분짜리 오디오 클립을 들을 수 있습니다. 이는 마치 영화를 슬로우 모션으로 보는 것처럼 하여, 짧은 집중력 안에 더 많은 내용을 담아내는 것과 같습니다.

해결책 2: VLAT (가상 "타임머신")

두 번째 방법은 **가상 장기 오디오 학습(Virtual Longform Audio Training, VLAT)**입니다. 이것은 실제로 사서에게 새로운 기술을 가르치는 "학습 전략"입니다.

비유: 당신이 러너를 훈련시킨다고 상상해 보세요. 당신은 그에게 오직 100미터 트랙에서만 달리게 합니다. 만약 갑자기 마라톤에 투입한다면, 그는 실패할 것입니다.
비법: VLAT는 단순히 긴 오디오 파일을 주는 대신, "가상 타임머신"을 사용합니다.
- 짧은 오디오 클립(예: 2분)을 가져온 뒤 모델에게 이렇게 말합니다. "이것이 실제로는 10분짜리 이야기라고 가정해 봐."
- 이를 위해 수학적으로 "가상의" 10분 타임라인을 모델이 실제로 듣고 있는 2분 클립 속으로 압축합니다.
- 그다음, 또 다른 클립을 가져와서 이렇게 말할 수도 있습니다. "이 2분짜리 클립이 실제로는 20분 길이라고 가정해 봐."
결과: 모델은 방대한 양의 실제 10시간짜리 팟캐스트를 필요로 하지 않고도, 다양한 길이의 이야기를 "듣는" 연습을 할 수 있습니다. 모델은 시간의 개념을 배우게 되며, 나중에 실제 긴 오디오 파일을 만났을 때 당황하지 않습니다. 이미 가상 환경에서 이러한 길이들을 "경험"했기 때문입니다.

연구 결과

저자들은 이 아이디어들을 두 가지 유명한 AI 모델(SALOMN 및 Qwen2-Audio)에 테스트하였으며, 1분에서 10분 길이의 오디오 클립으로 구성된 커스텀 데이터셋을 사용했습니다.

늘리는 것이 효과가 있다: 오디오 타임라인을 단순히 늘리는 것(Partial YaRN)만으로도, 아무것도 하지 않았을 때보다 긴 오디오를 이해하는 능력이 훨씬 좋아졌습니다.
텍스트를 망가뜨리지 않는다: 오디오 부분만 늘리고 텍스트 부분은 그대로 둠으로써, 모델의 언어 이해 능력을 보존했습니다.
학습은 보상을 준다: "가상 타임머신"(VLAT) 방식이 훨씬 더 효과적이었습니다. 이 방식으로 훈련된 모델은 본 적 없는 길이의 오디오를 접했을 때도 잘 이해했으며, 짧은 클립으로만 훈련된 모델보다 성능이 현저히 높았습니다.
"스윗 스팟(Sweet Spot)": 저자들은 이 모델들이 자연스럽게 약 2분의 오디오를 처리할 수 있는 숨겨진 능력이 있다는 것을 발견했습니다. 30초가 아닌 2분부터 시작하여 늘리는 것이 결과가 더 좋았습니다.

요 요약

요약하자면, 이 논문은 긴 팟캐스트를 이해하기 위해 새로운 AI를 만들 필요가 없다는 것을 보여줍니다. 기존 모델을 가져와서 다음을 수행하면 됩니다:

오디오 타임라인을 늘려 짧은 기억력에 맞춥니다 (Partial YaRN).
"가상의" 긴 이야기로 훈련시켜 일반화 능력을 키웁니다 (VLAT).

이를 통해 현재의 AI 모델이 긴 형태의 오디오를 훨씬 더 효과적으로 이해할 수 있게 하며, 마치 길을 잃지 않고 책 한 권을 통째로 다 들을 수 있게 된 사서처럼 만들어 줍니다.

기술 요약: 대규모 오디오-언어 모델의 장문 이해를 위한 오디오 컨텍스트 확장

1. 문제 정의

SALMONN 및 Qwen2-Audio와 같은 대규모 오디오-언어 모델(LALM)은 일반적으로 오디오 인코더를 텍스트 백본과 결ку하여 복잡한 오디오 이해를 위해 기본 대규모 언어 모델(LLM)의 지식을 활용합니다. 그러나 이러한 모델들은 짧은 오디오 컨텍스트 창(흔히 30초 이하)에 의해 제약을 받으며, 이는 장문 오디오를 처리하는 능력을 제한합니다. 위치 보간(Positional Interpolation, PI) 및 YaRN과 같은 컨텍스트 확장 방법이 단일 모달리티 LLM에는 성공적으로 적용되었지만, LALM에 대한 적용은 아직 탐구되지 않은 영역입니다.

LALM에 "전체 컨텍스트(whole-context)" 확장 방법을 적용할 때 중요한 과제가 발생합니다. 이러한 방법은 텍스트 토큰을 포함한 전체 시퀀스의 위치 인코딩을 변경합니다. 기본 LLM은 텍스트로만 사전 학습되었기 때문에, 텍스트 위치 정보를 수정하는 것은 정교한 언어 능력을 저하시킬 위험이 있습니다. 또한, 기존 LALM은 전체 시퀀스 길이(오디오 + 텍ек트)가 원래의 컨텍스트 창 내에 있더라도, 훈련 중에 본 오디오 길이보다 훨씬 긴 길이에 대해서는 일반화 성능이 떨어지는 경우가 많습니다.

2. 방법론

본 논문은 이러한 한계를 해결하기 위해 두 가지 주요 기여, 즉 훈련이 필요 없는 확장 방법과 훈련 시 증강 전략을 제안합니다.

2.1 Partial YaRN (훈련이 필요 없는 확장)

저자들은 모달리티가 분리된, 오디오 전용 컨텍스트 확장 방법인 Partial YaRN을 소개합니다. 전체 시퀀스를 늘리는 전체 컨텍박 접근 방식과 달리, Partial YaRN은 텍스트 토큰의 위치는 그대로 둔 채 오디오 토큰의 위치 인코딩만을 독점적으로 수정합니다. 이 설계는 기본 LLM의 텍스트 능력을 해치지 않으면서 오디오 컨텍스트 창을 확장하는 것을 목표로 합니다.

메커니즘: 이 방법은 주파수에 따라 회전 위치 인코딩(Rotary Positional Encoding, RoPE) 차원을 분할하는 YaRN(Yet Another RoPE) 기술을 적응시킵니다.
- 저주파 차원: 더 긴 오디오 컨텍스트를 안정적으로 커버하기 위해 보간(interpolation)을 거칩니다.
- 고주파 차원: 국부적 거리와 고주파 정보를 보존하기 위해 순수 외삽(extrapolation)을 거칩니다.
이중 그룹 분할: 저자들은 기존 YaRN의 3개 그룹 분할(저주파, 고주파, "중간")을 2개 그룹 분할로 단순화했습니다. 저자들은 일부 차원은 전체 오디오를 커버하는 반면 다른 차원은 그렇지 않은 부분적 확장 시나리오에서 "중간" 그룹이 일관되지 않은 위치 신호를 생성한다고 주장합니다. 2개 그룹 접근 방식은 전체 오디오 스트림에 걸쳐 일관된 위치 이해를 보장합니다.
어텐션 온도(Attention Temperature): YaRN과 유사하게, 이 방법은 긴 시퀀스에서 어텐션 점수가 붕괴되는 것을 방지하기 위해 RoPE 신호의 크기에 어텐션 온도 스케일링을 통합합니다.

2.2 가상 장문 오디오 훈련 (Virtual Longform Audio Training, VLAT)

훈련이 필요 없는 방법들이 종종 모델 의존적이며 극단적인 일반화에 어려움을 겪는다는 점을 인식하여, 저자들은 Partial YaRM을 위치 증강 기술로 재사용하는 미세 조정 전략인 **Virtual Longform Audio Training (VLAT)**을 제안합니다.

개념: 훈련 중에 다양한 오디오 길이를 시뮬레이션하기 위해 "가상" 소스 길이( $L_{virt}$ )를 범위(예: 실제 데이터 길이의 1배에서 25배 사이)에서 무작위로 샘플링합니다.
과정: 실제 길이 $L_{data}$ 를 가진 훈련 샘용에 대해, 모델은 $L_{virt}$ 길이의 위치 창을 $L_{data}$ 에 맞게 늘리거나 압축하는 데 Partial YaRN을 적용합니다.
목표: 이는 모델이 단순히 희소한 정수 서브샘플링이 아니라 밀도 높고 연속적인 위치 변동 공간에 노출됨으로써, 훈련 데이터셋에 존재하는 특정 길이를 넘어 일반화하는 법을 배우도록 강제합니다.

3. 실험 설정

모델: 연구는 SALMONN과 **Qwen2-Audio (7B Instruct)**를 평가합니다. 두 모델 모두 30초 입력을 제한하는 Whisper 인코더를 사용하며, 더 긴 오디오는 중복되지 않는 30초 청크로 분할됩니다.
데이터셋: YODAS2 코퍼스에서 구축된 커스텀 데이터셋인 YODAS2-MCQA를 사용합니다. 이는 오디오 세그먼트(1, 2, 5, 10분)와 Gemini 2.0 Flash에 의해 생성된 다지선다형 질문 답변(MCQA) 쌍으로 구성됩니다.
베이스라인: Vanilla(수정되지 않음), Whole PI, 그리고 Whole YaRN을 비교 대상으로 포함합니다.

4. 주요 결과

4.1 훈련이 필요 없는 확장

성능: Partial YaRN은 일반적으로 Vanilla 베이스라인보다 우수한 성능을 보이며, 다양한 설정에서 Whole YaRN과 대등하거나 이를 능가합니다.
관찰: 두 모델 모두 2분까지 일관된 성능을 보여, 본래의 명목상 30초보다 내재된 오디오 컨텍스트가 더 길다는 것을 입증했습니다. 이 관찰된 2분 창에서부터 확장하는 것이 (원래의 30초보다) 훨씬 더 나은 결과를 냈습니다 (예: Qwen2-Audio의 10분 정확도가 Partial YaRN을 사용하여 28.53%에서 48.00%로 향상됨).
트레이드오프: (Whole 대 Partial) 어떤 방법도 보편적으로 우월하지 않았으며, 성능은 모델과 확장 비율에 따라 달랐습니다. 그러나 Partial YaRN은 텍스트 능력을 성공적으로 보존하면서 오디오를 확장했습니다.

4.2 미세 조정 및 VLAT

미세 조정: 컨텍스트 확장 방법(Whole YaRN 또는 Partial PI)을 미세 조정 과정에 통합하는 것은 특히 긴 길이(예: 10분에서 약 19% 절대적 이득)에서 Vanilla 미세 조정보다 훨씬 뛰어난 성과를 보였습니다.
VLAT 효능: VLAT는 보지 못한 오디오 길이에 대한 강력한 일반화를 가능하게 했습니다. 2분 데이터로 VLAT 훈련을 받은 모델은 10분 오디오에서 **75.11%**의 정확도를 달성했습니다 (Vanilla 미세 조정의 32.76% 대비).
결합: VLAT 훈련과 Partial PI 추론의 결합이 가장 높은 성능(10분 오디오에서 81.73%)을 기록했으며, 이는 두 전략이 상호 보완적임을 나타냅니다.

4.3 절제 연구 (Ablation Studies)

주파수 그룹화: 주파수 그룹화 또는 어텐션 온도 스케일링을 제거하면 성능이 크게 하락하여, 두 구성 요소가 모두 필수적임을 확인했습니다.
이중 그룹 vs 삼중 그룹: 제안된 이중 그룹 분할이 특히 긴 오디오 길이에 대해 Qwen2-Audio에서 원래의 삼중 그룹 YaRN 분할보다 우수한 성능을 보였으며, 이는 "중간" 차원의 불일치를 피하기 위한 설계 선택을 검증합니다.

5. 의의 및 주장

본 논문은 비용이 많이 드는 데이터 확보나 아키텍처 재설계 없이도 기존 LALM의 장문 오디오 능력을 향상시킬 수 있는 실용적이고 접근 가능한 경로를 제공한다고 주장합니다.

모달리티 분리: 오디오 위치 조작을 격리함으로써, 저자들은 전체 컨텍스트 확장에 내재된 위험인 기본 LLM의 텍스트 성능 저하 없이 오디오 컨텍스트를 확장할 수 있음을 입증했습니다.
일반화: 본 연구는 모델의 핵심 병목 현상이 오디오-텍스트 정렬의 부족보다는, 훈련 범위를 벗어난 오디오 위치에 대한 모델의 생소함에 있다는 점을 강조합니다. VLAT는 훈련 중에 보지 못한 길이에 대해 일반화하도록 가르침으로써 이를 해결합니다.
효율성: 제안된 방법들(Partial YaRN 및 VLAT)은 "드롭인(drop-in)" 향상 및 효율적인 미세 조정 전략을 제공하여 광범위한 기존 모델에 적용 가능하게 만듭니다.

저자들은 한계점을 인정하며, 평가가 MCQA 작업에 국리되어 있고 합성 데이터 생성에 의존하고 있어, 개방형 생성이나 실제 환경의 오디오 충실도를 완전히 포착하지 못할 수 있다고 언급했습니다. 또한 Partial YaRN의 하이퍼파라미터 튜닝이 단일 모달리티 LLM에서 사용 가능한 폐쇄형 솔루션에 비해 계산 부담이 크다는 점도 언급했습니다.