🤖 machine learning

LEAF: Growing Trees Without Branching for Speech-Aware Large Language Model Post-Training

이 논문은 공유된 접두사(shared prefixes)에 스팬 수준의 이점(span-level advantages)을 할당함으로써 기존의 GRPO 방식 기반 접근법과 심지어 더 작은 모델을 사용한 전체 파라미터 베이스라인보다도 뛰어난 성능을 보이며 음성 인식 가능 대규모 언어 모델의 사후 학습을 개선하는 회고적 트리 기반 강화 학습 방법인 LEAF를 제안한다.

원저자: Argyrios Gerogiannis, Yekaterina Yegorova, Mark Hasegawa-Johnson, Venugopal V. Veeravalli

게시일 2026-06-09

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Argyrios Gerogiannis, Yekaterina Yegorova, Mark Hasegawa-Johnson, Venugopal V. Veeravalli

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 학생에게 말로 된 프롬프트를 바탕으로 이야기를 쓰는 법을 가르치고 있다고 상상해 보세요. 예전 방식(GRPO라고 불리는 방법)에서는 선생님이 학생이 쓴 이야기 전체를 듣고 나서 최종 성적을 매긴 뒤, 학생에게 이렇게 말합니다. "이야기 전체적으로 잘했어!" 또는 "이야기 전체적으로 별로였어!"

이 접근 방식의 문제는 너무 투박하다는 점입니다. 만약 학생이 도입부는 아주 훌륭하게 썼지만 결말을 엉망으로 썼다면, "별로"라는 성적은 훌륭했던 도입부까지 똑같이 벌칙을 줍니다. 반대로, 시작은 불안했지만 결말이 아주 멋졌다면, "잘했다"는 칭찬은 불안했던 시작 부분까지 보상하게 됩니다. 선생님은 학생이 어디서 잘했고 어디서 틀렸는지 알 수 없습니다.

LEAF(Low-rank Exploration with Adaptive Forking)가 등장합니다.

일리노이 대학교의 연구진들은 이러한 음성 AI 모델을 더 똑똑하게 가르치는 방법을 제안합니다. 단순히 전체 이야기에 대해 하나의 점수를 주는 대신, LEAF는 탐정처럼 학생의 작업물을 되짚어보며 이야기가 어느 지점에서 방향이 바뀌었는지 정확히 찾아냅니다.

LEAF가 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다.

1. "그룹 여행" 비유

8명의 학생을 같은 하이킹 여행(rollout)에 보낸다고 상상해 보세요. 그들은 모두 첫 1마일 동안은 같은 길을 함께 걷습니다. 그러다 갈림길에서 어떤 학생들은 왼쪽으로, 어떤 학생들은 오른쪽으로 꺾습니다. 결국 그들은 목적지에 도착하고, 당신은 그곳의 경치가 얼마나 좋았느냐에 따라 점수를 줍니다.

예전 방식 (GRPO): 당신은 8명의 학생 모두에게 최종 경치를 기준으로 "잘했어!" 또는 "못했어!"라고 말합니다. 그들 중 4명이 1마일 지점에서 길을 잘못 들었다는 사실은 신경 쓰지 않습니다.
LEAF 방식: LEAF는 그룹을 관찰하며 이렇게 말합니다. "잠깐만. 모두가 첫 1마일은 함께 걸었어. 그러다 1마일 지점에서 그룹이 나뉘었지. 자, '왼쪽 길'로 간 사람들을 보자. 그들이 더 좋은 경치를 구경했나? 응? 그렇다면 '왼쪽 길'로 가는 결정은 좋은 결정이었어. 그럼 '오른쪽 길'로 간 사람들을 보자. 그들이 더 안 좋은 경치를 봤나? 응? 그렇다면 '오른쪽 길'로 가는 결정은 나쁜 결정이었어."

2. "갈림길" 찾기 (Branching)

음성 AI에서 모델은 단어를 하나씩 생성합니다. 때때로 모델은 혼란에 빠지거나 위험한 추측을 합니다. LEAF는 이러한 혼란의 순간(이를 "높은 놀라움(high-surprisal)" 지점이라고 합니다)을 찾아냅니다.

이것은 '당신의 선택에 따라 결말이 달라지는 모험(Choose Your Own Adventure)' 책과 같습니다.

모델이 처음 몇 문장을 씁니다.
LEAF는 묻습니다: "이 첫 문장들에 대해 모델 그룹이 모두 동의했나요?"
만약 동의했다면, LEAF는 이를 탄탄한 "베이스 캠프"로 취급합니다.
그다음, LEAF는 모델들이 서로 의견이 갈리거나 다른 경로를 택하기 시작한 순간을 찾습니다. 그 지점을 **"갈림길(Fork)"**로 표시합니다.

3. "되감기와 보상"

LEAF는 이 갈림길을 찾으면 테이프를 되감습니다. 모델의 응답들을 갈림길에 도달하기 전의 경로(prefix)를 기준으로 그룹화합니다.

만약 일련의 응답들이 특정 접두사(문장의 시작 부분)를 공유했고, 그 후 높은 점수를 받았다면, LEAF는 그 시작 부분에 **특별 점수(extra credit)**를 부여합니다.
만약 일련의 응답들이 특정 접두사를 공유했지만 낮은 점수를 받았다면, LEAF는 그 부분에 **감점(negative credit)**을 주며 모델에게 이렇게 말합니다. "문장을 그런 식으로 시작하지 마세요."

이것은 코치가 "너는 첫 바퀴는 완벽하게 달렸지만, 50미터 지점에서 넘어졌어. 전체 경주가 아니라 바로 그 50미터 구간을 고치는 데 집중하자"라고 말하는 것과 같습니다.

이것이 왜 중요한가요?

연구진은 이 "회고적 트리(retrospective tree)" 방식을 사용함으로써, LEAF가 기존 방식보다 훨씬 적은 자원으로도 AI를 훨씬 더 잘 가르친다고 주장합니다.

더 똑똑한 학습: LEFF는 운 좋게 결말이 좋았다고 해서 나쁜 습관을 배우거나, 운 나쁘게 결말이 안 좋았다고 해서 좋은 습관을 배우는 것을 방지합니다.
효율성: 새로운 이야기를 생성할 필요 없이, 이미 생성된 이야기들을 재분석하여 그 안에 숨겨진 구조를 찾아냅니다.
더 나은 결과: 논문은 LEAF로 훈련된 모델이 기존 방식으로 훈련된 모델보다 오디오 관련 질문 답변 및 음성 번역에서 더 뛰어난 성능을 보인다고 밝히고 있습니다. 실제로 LEAF로 훈련된 작은 모델이 기존 방식으로 훈련된 훨씬 더 큰 모델보다 더 나은 성능을 보여주었습니다.

핵심 요약

LEAF는 대화 전체를 하나의 "좋음" 또는 "나쁨"의 사건으로 취급하지 않는 새로운 음성 AI 훈련 기법입니다. 대신, 대화를 작은 단위로 나누어 AI가 정확히 어느 지점에서 좋은 결정이나 나쁜 결정을 내렸는지 식별하고, 그 특정 순간에만 점수를 주거나(credit) 책임을 묻습니다(blame). 이는 에세이 전체를 한꺼번에 채점하는 선생님에서, 어느 문장을 수정해야 하는지 정확히 짚어주는 선생님으로 업그레이드된 것과 같습니다.

기술 요약: LEAF – 음성 인식 LLM 사후 학습을 위한 분기 없는 트리 성장 기법

1. 문제 정의

그룹 상대 정책 최적화(GRPO)를 활용하는 최첨단 음성 인식 대규모 언어 모델(SALLM)의 사후 학습 방법은 조잡한 신용 할당(coarse credit assignment) 문제를 겪고 있습니다. 표준 GRPO에서는 전체 응답에 대해 단일 종단 보상(terminal reward)을 계산하고, 이를 생성된 모든 토큰에 동일한 스칼라 어드밴티지(advantage)로 전파합니다. 이 방식은 음성 조건부 완성문(speech-conditioned completions)이 결정적인 의사 결정 지점에서 갈라지기 전까지 상당한 접두사(prefix)를 공유하는 내부 구조를 무시합니다. 결과적으로, 이 방법은 응답이 유망해지거나 해로워지는 특정 구간이나 토로큰에 신용을 국지화(localize)하는 데 실패합니다. 트리 구조 강화 학습(RL)은 중간 상태로부터 분기되는 더 미세한 대안을 제공하지만, 긴 멀티모달 입력, 배치 디코딩 및 작업별 보상 제약 조건으로 인해 온라인 트리 확장(online tree expansion)을 SALLM 사후 학습에 직접 도입하는 것은 계산적으로 매우 불가능합니다.

2. 방법론: 적응형 포킹을 통한 저차원 탐색 (LEAF)

LEAF는 온라인 분기나 추가적인 디코딩을 요구하지 않고, 표준 배치 롤아웃으로부터 구조적 정보를 복구하는 **회고적 트리 기반 RL 방법(retrospective tree-based RL method)**을 도입하여 이러한 한계를 해결합니다. 이 방법은 다음과 같이 작동합니다.

회고적 트리 구축: LEAF는 GRPO와 동일하게 $K$ 개의 완전한 응답을 샘플링합니다. 새로운 연속 생성(continuation)을 수행하는 대신, 기존 응답들을 공유된 토큰 시퀀스에 기반하여 희소 접두사 트리(sparse prefix tree)로 조직합니다.
서프라이절(Surprisal)을 통한 적응형 포킹: 트리를 어디에서 "포크(fork)"할지 결정하기 위해, LEAF는 고서프라이절 토큰 경계(롤아웃 정책에서 불확실성이 높은 위치)를 식별합니다. 이는 서로 다른 부분을 커버할 수 있도록 최소 거리( $\Delta$ )로 구분된 작은 글로벌 경계 집합( $B$ )을 탐욕적으로 선택합니다.
접두사 그룹화 및 노드 유지: 선택된 각 경계에서 응답들은 정확한 토의 토큰 접두사 일치 여부에 따라 그룹화됩니다. 두 개 이상의 응답이 공유하는 접두사(non-singleton groups)만 트리의 노드로 유지됩니다. 싱글톤 접두사는 신뢰할 수 있는 가치 추정을 제공할 수 없으므로 폐기됩니다.
스팬 수준 신용 할당(Span-Level Credit Assignment):
- 가치 추정: 유지된 접두사 노드의 가치는 해당 노드의 하위 응답들의 종단 보상 평균으로 추정됩니다.
- 어드밴티지 계산: LEAF는 개별 토큰이 아닌 스팬(유지된 노드 사이의 토큰 구간)에 어드밴티지를 할당합니다. 스팬의 어드밴티지는 다음의 조합으로 구성됩니다:
  1. 글로벌 어드밴티지: 현재 접두사의 가치와 배치 평균(프롬프트 수준) 가치의 차이.
  2. 로컬 어드밴티지: 현재 접두사의 가치와 동일 경로상의 이전 유지 접두사 가치의 차이.
- 다중성 보정: 반복으로 인해 많은 응답이 공유하는 스팬이 단독으로 업데이트를 지배하는 것을 방지하기 위해 보정 계수( $1/\sqrt{n}$ )가 적용됩니다.
매개변수 효율성: LEAF는 저차원 적응(LoRA)으로 구현되어, 가벼운 학습 가능 매개변수 예산 내에서 작동하면서도 전체 매개변수 성능과 대등하거나 이를 능가하는 것을 목표로 합니다.

3. 주요 기여

새로운 알고리즘: LEAF는 음성 사후 학습을 위한 최초의 트리 기반 RL 방법이며, 접두사 수준의 감독을 위해 불확실성 유도 메커니즘(서프라이절)을 활용하는 최초의 회고적 신용 할당 방식입니다.
이론적 정당성: 저자들은 다음을 입증하는 이론적 근리 근거를 제공합니다:
- 스팬 수준의 접두사 어드밴티지는 유효한 신용 신호입니다.
- 포크 예산( $B$ )은 지원(공유 접두사 수)과 해상도(신용의 세밀도) 사이의 트레이드오프를 제어합니다.
- 순수 접두사 매칭(충돌 빈도만을 기준으로 경계를 선택하는 것)은 얕고 충돌이 잦은 접두사에 편향될 수 있으나, LEAF의 서프라이절 활용은 불확실성이 높은 지점을 선택함으로써 이를 완화합니다.
경험적 검증: 논문은 다양한 작업과 모델 백본에 걸쳐 음성 이해 롤아웃이 매우 "분기 가능(forkable)"함(서로 다른 결과를 초래하는 접두사를 공유함)을 입증합니다.

4. 실험 결과

저자들은 Granite Speech 및 Qwen2-Audio 백본을 사용하여 네 가지 음성-언어 벤치마크(단문 음성 QA: LibriSQA, 장문 음성 QA: DailyTalk, LongAudio, 음성 번역: CoVoST2)에서 LEAF를 평가했습니다.

GRPO 대비 성능: 동일한 롤아웃 예산( $K=8$ $K = 8$ ) 및 LoRA 적응 예산 하에서, LEAF는 모든 데이터셋과 백본에서 LoRA-GRPO를 일관되게 능가합니다.
- 지표: BLEU, ROUGE, METEOR, BERTScore 및 판사 기반 점수(M-Prometheus 및 GEMBA-DA)에서 개선이 관찰되었습니다.
- 테일 리스크(Tail Risk): LEAF는 높은 조건부 가치 위험(CVaR) 점수와 낮은 점수의 사례 비율을 통해 파멸적 실패를 유의미하게 감소시킵니다.
- 효율성: LEAF는 더 압축된 출력을 생성하여, 특히 GRPO가 과잉 생성하는 경향이 있는 장문 작업에서 예측 토큰 수를 줄입니다.
SOTA 대비 성능: LibriSQA 벤치마크에서 LEAF로 훈련된 모델(LoRA 어댑터만 사용)은 전체 매개변수 GRPO 훈련을 사용한 기존 SOTA 결과를 능가했습니다.
- 예를 들어, LEAF로 훈련된 2B 파라미터 모델(학습 가능한 매개변수 133.7M)은 3.01B의 학습 가능한 매개변수를 가진 전체 매개변수 GRPO 베이스라인을 넘어섰습니다.
- 1B 모델은 LEAF를 통해 2B 전체 매개변수 베이스라인의 성능에 근접했습니다.

5. 의의 및 주장

본 논문은 더 나은 신용 할당이 실질적으로 훨씬 작은 학습 가능 매개변수 예산을 보완할 수 있음을 LEAF가 보여준다고 주장합니다. 표준 배치 롤아웃을 회고적 트리로 재구성함으로써, LEAF는 온라인 트리 탐색이나 별도의 프로세스 보상 모델의 계산적 오버헤드 없이 프로세스 인지적(process-aware) 감독을 달성합니다.

저자들은 LEAF를 평면적인 GRPO의 효율성과 트리 구조 RL의 세밀함 사이의 간극을 메우는 방법으로 포지셔닝합니다. 또한, 이 방법의 성공은 음성 작업에서의 "분기 가능성(forkability)"이라는 경험적 특성, 즉 샘플링된 응답들이 구별 가능한 결과를 이끄는 접두사를 자주 공유한다는 점에 달려 있다고 강조합니다. 이 연구는 SALLM의 경우, 사후 학습의 병목이 보상 설계 자체뿐만 아니라 롤아웃의 구성과 신용 할당의 정밀도에 있음을 시사합니다.

저자가 언급한 한계점:

효과는 레지메 의존적이며, 비사소한(non-trivial) 포크 그룹을 형성할 만큼 충분히 접두사를 공유하는 롤아웃이 필요합니다.
보상 신호는 현재 코퍼스 BLEU로 제한되어 있습니다.
실험은 영어 음성 이해 및 특정 하드웨어 구성(설정당 단일 훈련 시드)으로 제한되었습니다.