⚡ electrical engineering

PAL: Probing Audio Encoders via LLMs -- Audio Information Transfer into LLMs

이 논문은 풍부한 오디오 의미론을 LLM으로 효율적으로 전달하기 위해 컴팩트한 PLITS 투영과 경량화된 LAL 주입 메커니즘을 결합한 하이브리드 프레임워크인 PAL을 소개하며, 이를 통해 기존의 통합 패러다임과 비교하여 우수한 성능을 달면서도 계산 오버헤드를 크게 줄였습니다.

원저자: Tony Alex, Wish Suharitdamrong, Sara Atito, Armin Mustafa, Philip J. B. Jackson, Imran Razzak, Muhammad Awais

게시일 2026-02-03

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tony Alex, Wish Suharitdamrong, Sara Atito, Armin Mustafa, Philip J. B. Jackson, Imran Razzak, Muhammad Awais

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 당신에게는 글을 읽고 쓰는 데는 천재적이지만, 평생 소리를 단 한 번도 들어본 적 없는 아주 수다스러운 로봇(거대 언어 모델, LLM)이 한 마리 있습니다. 당신은 이 로봇에게 개가 짖는 소리, 노래가 흘러나오는 소리, 혹은 누군가 말하는 소리와 같은 오디오를 이해하도록 가르치고 싶습니다.

문제는 이겁니다: 텍스트 전용 뇌를 망가뜨리거나 속도를 엄청나게 느리게 만들지 않고, 어떻게 오디오를 이 로봇에게 입력할 것인가?

이 논문은 오디오를 이러한 텍스트 기반 로봇과 연결하는 새로운 방법인 PAL(Probing Audio encoders via LLMs)을 소개합니다. 다음은 쉬운 비유를 사용한 상세 설명입니다.

기존 방식: "무거운 갑옷" (PLITS)

현재 대부분의 연구자들은 저자들이 PLITS라고 부르는 방법을 사용합니다.

비유: 당신이 작가에게 사진 한 장을 보여주고 싶다고 가정해 봅시다. 기존 방식에서는 사진의 모든 픽셀 하나하나를 아주 작은 단어로 바꾼 뒤, 작가의 이야기 바로 앞에 그 단어들을 모두 붙여넣습니다.
문제점: 만약 사진이 고해상도(긴 오디오 클립과 같은 경우)라면, 수천 개의 추가 단어를 붙여넣어야 합니다. 작가는 새로운 문장을 단 하나 쓰기 위해서도 그 수많은 추가 단어를 모두 읽어야 합니다. 이는 과정을 매우 느리게 만들며 엄청난 양의 메모리를 요구합니다 (마치 어디를 가든 무거운 갑옷을 입고 다니는 것과 같습니다).

새로운 아이디어: "속삭임" (LAL)

저자들은 LAL(Lightweight Audio LLM Integration)이라는 더 가벼운 방법을 제안합니다.

비유: 수천 개의 단어를 붙여넣는 대신, "소리 속삭임 전문가"가 있다고 상상해 보세요. 이 전문가는 작가에게 새로운 단어를 읽도록 강요하지 않습니다. 대신, 작가가 생각하는 동안 소리의 '맥락'을 작가의 귀에 직접 어깨를 톡톡 두드리며 속삭여 줍니다.
작동 원리: 오디오 정보는 뇌의 "무엇에 집중할지" 결정하는 부분(어텐션 메커니션)에만 주입됩니다. 무거운 작업을 수행하는 부분(피드 포워드 네트워크)은 건너뜁니다.
결과: 작가는 소리를 완벽하게 이해할 수 있으면서도, 무거운 "갑옷"을 짊어질 필요가 없습니다.
- 속도: 훈련 속도가 약 190% 더 빠릅니다.
- 메모리: 메모리를 약 60% 적게 사용합니다.
- 성능: 기존의 무거운 방식만큼 잘 작동합니다.

두 마리 토끼를 잡는 법: "하이브리드" (PAL)

저자들은 "속삭임"(LAL) 방식이 빠르긴 하지만, 때로는 전체적인 그림을 파악하기 위해 소리의 요약본이 필요하다는 것을 깨달았습니다. 그래서 그들은 하이브리드 방식인 PAL을 만들었습니다.

비유: 작가를 돕는 두 명의 조수가 팀을 이루어 일한다고 상상해 보세요:
1. 요약가 (PLITS): 긴 오디오 클립을 가져와서 이를 짧은 세 문장 분량의 요약본으로 압축한 뒤, 맨 처음에 붙여넣습니다. 이것은 작가에게 "전체적인 큰 그림"을 제공합니다.
2. 세부 사항 속삭임 전문가 (LAL): 전체적이고 상세한 오디오를 가져와서, 작가가 생각하는 과정의 초기에 목소리의 구체적인 피치(음높이)나 특정 효과음 같은 "세밀한 디테일"을 직접 귀에 속삭여 줍니다.
왜 효과적인가: "속삭임"은 초기 단계의 세밀한 처리(특정 소리 인식 등)를 담당하고, "요약"은 후반부의 고차원적 추론(이야기 이해 등)을 돕습니다.
결과: PAL은 기존의 무거운 방식보다 빠르고 메모리도 적게 사용하면서, 기존 방식과 속삭임 방식 모두보다 더 뛰어난 성능을 보여줍니다.

논문의 핵심 요점

효율성: 오디오가 로봇의 뇌로 들어오는 방식(무거운 '생각' 블록이 아닌 '어텐션' 탭을 통해서만 전달)을 바꿈으로써, 엄청난 양의 컴퓨팅 자원을 절약했습니다.
"동결"이 필요 없음: 로봇의 주요 지식 베이스를 잠가두더라도(새로운 사실을 배우지 못하게 하더라도), 이 새로운 오디오 방식은 완벽하게 작동했습니다. 이는 기존 로봇의 뇌 전체를 다시 훈련시키지 않고도 오디오 기능을 추가할 수 있음을 의미합니다.
다재다능함: 이들은 음성 이해, 음악, 그리고 일반적인 소리(자동차 경적이나 개 짖는 소리 등)에 대해 테스트했으며, 모든 분야에서 잘 작동했습니다.

요약하자면: 이 논문은 이렇게 말합니다. "로봇에게 소리 단어 사전을 읽게 하지 마세요. 로봇이 생각하는 동안 그 소리의 의미를 귀에 속삭여 주고, 시작할 때 빠른 요약본을 건네주세요. 그것이 더 빠르고, 저렴하며, 더 똑똑합니다."

기술 요약: PAL: LLM을 통한 오디오 인코더 프로빙(Probing Audio Encoders via LLMs)

1. 문제 정의

오디오 인지 능력을 대규모 언어 모델(LLM)에 통합하는 것은 기계 청취 애플리케이션을 가능하게 하는 중요한 단계입니다. 그러나 오디오 인코더의 풍부한 오디오 의미론(semantics)을 LLM으로 효율적으로 전달하는 방법은 아직 충분히 탐구되지 않았습니다.

본 논문에서 **PLITS(Prepend to the LLM's input token space)**라고 지칭하는 현재의 최첨단(SOTA) 통합 패러다임은 일반적으로 오디오 인코더 출력을 MLP나 Q-Former를 통해 LLM 입력 공간으로 투영한 뒤, 이 오디오 토큰들을 텍스트 토큰 시퀀스 앞에 붙이는 방식을 취합니다. 이후 전체 결합된 시퀀스가 모든 LLM 레이어를 통과하며 전파됩니다. 이 방식은 효과적이긴 하지만, 오디오 토큰(종종 텍ست 토큰보다 훨씬 많음, $N_a \gg N_t$ )이 모든 레이어에서 전체 인과적 셀프 어텐션(causal self-attention)과 피드포워드 네트워크(FFN) 처리를 거쳐야 하므로 상당한 계산 오버헤드를 발생시킵니다. 이는 $O((N_a + N_t)^2)$ 의 이차적인 어텐션 복잡도와 높은 메모리 사용량을 초래하여 확장성을 제한합니다.

Flamingo 스타일의 모델과 같은 대안적 구조는 LLM 레이어 사이에 크로스 어텐션(cross-attention) 및 FFN 블록을 삽전합니다. 이 방식은 단순 결합 방식에 비해 어텐션 효율성은 개선하지만, 순차적 깊이와 레이어당 연산량을 증가시켜 포워드 패스(forward pass) 속도를 늦출 가능성이 있습니다.

2. 방법론

본 논문은 두 가지 새로운 통합 전략인 LAL(Lightweight Audio LLM Integration)과 PAL(Probing Audio encoders via LLMs)을 제안합니다.

2.1. LAL: 경량 오디오 LLM 통합 (Lightweight Audio LLM Integration)

LAL은 오디오 토큰을 위한 피드포워드 모듈을 우회하여 오직 어텐션 메커니즘을 통해서만 오디오 표현을 주입하도록 설계된 핵심적인 구조적 수정 방식입니다.

메커니즘: 표준 LLM 레이어에서 텍스트 은닉 상태(hidden states) $H^t_l$ $H_{l}^{t}$ 과 투영된 오디오 특징 $\hat{A}_l$ $\hat{A}_{l}$ 은 $S_l$ $S_{l}$ 을 형성하기 위해 결합됩니다.
- 쿼리(Queries, $Q$ ): 오직 텍스트 토큰( $H^t_l$ )으로부터만 계산됩니다.
- 키(Keys, $K$ ) 및 값(Values, $V$ ): 텍스트와 오디오를 모두 포함하는 결합된 시퀀스 $S_l$ 로부터 계산됩니다.
정보 흐름: 오디오 토큰은 텍스트 토큰의 어텐션 컨텍스트를 조절하지만, FFN 서브레이어를 통과하지는 않습니다. 이를 통해 텍스트 토큰은 오디오로부터 정보를 수집할 수 있으나, 오디오 토큰 자체가 비선형 변환을 거치지는 않게 됩니다.
복잡도 감소: 쿼리를 텍스트 토큰으로만 제한함으로써, 어텐션 복잡도는 $O((N_a + N_t)^2)$ 에서 $O((N_a + N_t)N_t)$ 로 감소합니다. $N_a \gg N_t$ 인 상황에서, 이는 $N_a^2$ 항을 제거하여 상당한 효율성 이득을 제공합니다.
위치 인코딩(Positional Encoding): 시간적 순서를 보존하기 위해, LAL은 위치 ID를 명시적으로 관리하며, 로터리 위치 임베딩(RoPE)이 텍스트와 관련하여 올바르게 작동할 수 있도록 오디오 토큰을 위한 간격을 확보합니다.

2.2. PAL: 하이브리드 통합 (Hybrid Integration)

LLM의 각 레이어가 서로 다른 통합 스타일의 이점을 얻을 수 있다는 점을 인식하여, 저자들은 PLITS와 LAL을 결합한 하이브리드 접근 방식인 PAL을 제안합니다.

구조:
1. PLITS 경로(요약): 전체 오디오 시퀀스로부터 압축된 요약 토큰 세트가 도출됩니다(스트라이드 $r$ 을 가진 1D 컨볼루션을 통해). 이 요약 토큰들은 표준 PLITS 방식(텍스트 앞에 붙여 모든 레이어를 통과함)을 통해 처리됩니다.
2. LAL 경로(전체 해상도): 전체 해상도의 오디오 토큰 시퀀스가 LAL을 통해 어텐션 블록에 주입됩니다.
레이어 할당: 경험적 분석에 따르면, LLM의 초기 레이어에서는 전체 해상도의 음향적 세부 사항이 가장 중요하며, 후기 레이어에서는 텍스트와의 고수준 의미론적 정렬이 더 중요합니다. 따라서 PAL은 LAL 주입을 초기 1/3 레이어로 제한합니다. 이 지점 이후에는 모델이 PLITS 요약 토큰에만 의존하게 됩니다.
토큰 순서: 어텐션 메커니즘 내에서 키와 값은 요약 토큰( $p_j$ )이 그에 대응하는 전체 해상도 블록( $\ell_i$ ) 바로 뒤에 오도록 인터리빙(interleaving)되어, 요약 정보와 근본적인 미세한 컨텍스트 사이의 정렬을 유지합니다.

3. 주요 기여

LAL 통합: 오디오 토큰을 트랜스포머의 FFN 프로세스를 건너뛰고 오직 키와 값으로서 LLM 어텐션 서브 모듈에 포함시키는 경량화 전략을 도입했습니다. 이는 성능을 유지하면서도 계산 및 메모리 비용을 줄입니다.
PAL 하이브리드 구조: 압축된 요약 토큰에는 PLITS를 적용하고, 전체 오디오 시퀀스에는 LAL을 적용하는 하이브리드 방식인 PAL을 제안했습니다. 이 방식은 높은 계산 및 메모리 효율성을 유지하면서도 PLITS보다 성능이 크게 뛰어납니다.
엄격한 경험적 검증: 다양한 베이스 LLM(Llama-3.2-1B/3B, Qwen2.5-1.5B)과 다양한 작업(분류, 캡셔닝, 추론, 음성, 음악, 사운드 이해)에 대해 표준화된 학습 커리큘럼 및 데이터셋 설정을 사용하여 공정한 비교를 수행했습니다.

4. 실험 결과

실험 결과, LAL과 PAL은 기존 베이스라인(PLITS 및 Flamingo 스타일)에 비해 우수한 효율성-성능 트레이드오프를 제공함을 입증했습니다.

효율성 이득:
- 메모리 사용량: LAL은 PLITS 대비 학습 메모리 사용량을 약 60%, 추론 메모리 사용량을 약 83% 감소시킵니다.
- 처리량(Throughput): 학습 처리량은 약 190% 증가하였고, 추론 속도는 1.2배에서 1.5배 향상되었습니다.
- 확장성: LAL의 오디오 토큰 수에 대한 선형적 스케일링 덕분에, 오디오 시퀀스가 길어질수록 효율성 격차가 더욱 커집니다.
성능:
- 일반 오디오 이해: LAL은 분류(ESC-50, DCASE, VocalSound), 캡셔닝(AudioCaps, Clotho), 추론(CompA-R) 작업 전반에서 PLITS와 대등하거나 더 나은 성능을 보였습니다. 예를 들어, Llama-3.2-3B 백본에서 LAL은 ESC-50에 대해 **89.25%**의 정확도를 달성하여 PLITS의 **84.60%**를 상회했습니다.
- 통합 오디오-음성-음악 이해: 통합 설정(MMAU, MMAR, MMSU 벤치마크)에서 하이브리드 PAL 모델이 최고의 성능을 기록했습니다.
  - MMAU: PAL-3B는 test-mini에서 70.20%, test에서 **68.20%**를 달성하여 PLITS-3B(64.30% / 62.91%)를 앞질렀습니다.
  - MMAR: PAL-3B는 **45.40%**의 정확도에 도달하여 PLITS-3B(41.10%)를 능가했습니다.
  - MMSU: PAL-3B는 전체 정확도 **46.18%**를 달성하여 PLITS-3B의 40.12%를 넘어섰습니다.
- 어블레이션 연구(Ablation Studies): PAL-All 변형에서 LAL 또는 PLTS 경로 중 하나를 마스킹했을 때 성능 저하가 발생했으며, 이는 두 경로가 상호 보완적인 정보(LAL은 미세한 음향 컨텍스트, PLTS는 고수준의 의미론적 정렬)를 제공한다는 것을 확인시켜 줍니다.
동결된 FFN (Frozen FFN): 본 논문은 LAL이 LLM의 FFN 블록이 동결된 상태에서도 효과적임을 언급하며, 이는 오디오 정보가 FFN에 저장된 핵심 파라미터 지식을 수정하지 않고도 어텐션을 통해 통합될 수 있음을 시사합니다.

5. 의의 및 주장

본 논문은 LAL과 PAL이 매개변수 효율적 미세 조정(PEFT, 예: LoRA) 방법에서 벗어나, 오디오 토큰이 트랜스포머의 포워드 패스에 참여하는 방식을 근본적으로 바꾸는 핵심적인 구조적 수정으로의 전환을 나타낸다고 주장합니다.

확장성: 오디오 토큰 수에 대한 이차적 의존성을 줄임으로써, 이러한 방법들은 과도한 계산 비용 없이 더 긴 컨텍스트 창과 높은 해상도를 가진 오디오-LLM의 학습 및 배포를 가능하게 합니다.
효율성 vs 성능: 저자들은 메모리 풋프린트를 획기적으로 줄이고 처리량을 높이면서도 오디오 이해를 위한 최첨단 성능을 달리는 것이 가능하다는 것을 입증했습니다.
설계 통찰: 이 연구는 스케일러블한 오디오-LLM 설계에 대한 실행 가능한 통찰을 제공하며, 특히 초기 레이어는 전체 해상도의 음향 주입(LAL)에 유리하고, 후기 레이어는 압축된 언어 정렬 요약(PLITS)에 유리하다는 점을 강조합니다.

저자들은 이러한 효율성 이득이 오디오 이해 기술에 대한 접근성을 넓힐 수 있다고 결론짓지만, 개인정보 보호, 편향성 및 고위험 애플리케이션에 대한 책임 있는 배포의 필요성 또한 강조합니다.