기술 요약: ProactiveLLM

문제 정의

표준 대규모 언어 모델(LLM)은 "읽은 후 생성(read-then-generate)" 패러다임 하에서 작동하며, 생성을 시작하기 전 전체 입력을 수용해야 합니다. 이러한 접근 방식은 실시간 스트리밍 시나리오(예: 오디오 및 비디오 스트림)에서 상당한 지연 시간과 계산적 중복을 초래합니다. 기존의 스트리밍 LLM은 입력을 받는 동안 생성을 시도하지만, 상호작용을 위한 최적의 타이밍을 결정하는 데 어려움을 겪습니다. 현재의 방법론들은 다음 중 하나에 의존합니다:

1. 하드코딩된 휴리스틱: 스트림의 의미론적 내용을 무시하는 고정된 상호작용 간격(예: Wait-$k$).
2. 비싼 외부 감독: 타임스탬프, 추론 궤적 또는 더 강력한 교사 모델과 같은 작업별 정렬 신호로부터 상호작용 타이밍을 학습하는 방식이며, 이는 획득하기 어렵고 다른 작업이나 모달리티를 위해 재학습이 필요한 경우가 많습니다.

이러한 접근 방식은 모델을 사전 정의된 규칙이나 외부 신호의 수동적인 추종자로 만들며, 정보 밀도가 변동하는 상황에 동적으로 적응하지 못하게 합니다. 결과적으로 모델은 부분적인 문맥이 충분한 의미론적 단서를 포함하고 있음에도 불구하고, 성급하게 생성하여 환각(hallucination)을 일으키거나 불필요하게 기다림으로써 지연 시간을 증가시킬 수 있습니다.

방법론: ProactiveLLM

본 논문은 스트리밍 LLM을 수동적 적응에서 **능동적 상호작용(active interaction)**으로 전환하는 프레임워크인 ProactiveLLM을 제안합니다. 핵심 혁신은 외부 주석이 아닌 모델 자신의 **내생적 상태(endogenous states, 내재적 의미론적 충분성)**를 기반으로 상호작용 결정을 내릴 수 있도록 하는 것입니다.

1. 아키텍처 및 백본

ProactiveLLM은 입력과 출력의 위치 인덱스를 분리하기 위해 그룹 위치 인코딩(Group Positional Encoding)을 활용하는 스트리밍 적응형 LLM 백본을 기반으로 구축되었습니다. 이 모델은 텍스트와 음성 모달리티를 모두 지원하며(음성의 경우 인과적 마스킹이 적용된 Whisper 인코더 사용), 프레임워크는 **"내생적 학습 및 명시적 결정(endogenous training and explicit decision)"**의 분리된 패러다임을 채택합니다:

• 학습 단계: 모델이 의미론적 경계를 인식하는 능력을 배양합니다.
• 추론 단계: 플러그 앤 플레이 방식의 **결정 헤드(Decision Head)**를 사용하여 내부 상태를 명시적인 "읽기(Read)" 또는 "쓰기(Write)" 동작으로 변환합니다.

2. 능동적 스트리밍 학습 프레임워크

부분적인 문맥이 충분하다는 것을 모델에게 가르치기 위해, 저자들은 두 가지 상호 보완적인 학습 메커니즘을 도입합니다:

• 마스크드 스트리밍 언어 모델링 (Masked Streaming Language Modeling, MSLM):

  • 학습 중에 미래의 입력 토큰에 **무작위 인과적 마스크(randomized causal masks)**를 적용하여 스트리밍 입력의 단조적 가시성을 시뮬레이션합니다.
  • 표준 BERT 스타일의 마스킹과 달리, 이는 시간이 지남에 따라 가시적인 문맥이 성장하는 단조적 제약을 강제합니다.
  • 모델이 퇴보적인 상태(예: 미미한 문맥으로 생성하는 것)를 학습하는 것을 방지하기 위해, 저자들은 **다항식 편향 다항 분포 할당(polynomial-biased multinomial allocation)**을 사용합니다. 이는 무작위 마스킹이 현실적인 "읽기 예산" 분포를 따르도록 제한하여, 모델이 혼란스러운 노이즈가 아닌 타당하고 안정적인 스트리밍 궤적 하에서 작동하도록 보장합니다.

• 동기화된 특권 자기 증류 (Synchronized Privileged Self-Distillation, SPSD):

  • 외부 교사 없이 부분 문맥 예측과 전체 문맥 검증 사이의 간극을 해결합니다.
  • 동일한 진화하는 모델이 학생(Student)(스트리밍 모드, 부분 문맥을 봄)이자 교사(Teacher)(배치 모드, 전체 문맥을 봄) 역할을 수행합니다.
  • 학생의 예측 분포는 KL-발산 손실을 통해 교사의 전체 문맥 로짓(logits)과 부드럽게 정렬됩니다. 이는 "특권적(privileged)" 의미론적 가이드를 제공하여, 학생의 이해를 견고한 전체 문맥 분포에 고정하는 동시에 능동적 예측을 위한 필요한 변동성을 허용합니다.

3. 능동적 상호작용 결정

학습이 완료되면 모델은 의미론적 충분성에 대한 내재적 인식을 갖게 됩니다. 플러그 앤 플레이 결정 헤드는 이러한 내부 신호를 활용하여 상호작용 타이밍을 결정합니다. 본 논문은 두 가지 구체적인 전략을 제안합니다:

• 어텐션 기반(Attention-Driven): 입력 스트림에 대한 누적 어텐션 가중치를 모니터링합니다. 분산된 어텐션은 "읽기"를 트리거하고, 집중된 어민션은 "쓰기"를 트리거합니다.
• 엔트로피 기반(Entropy-Driven): 예측된 토큰 분포의 섀넌 엔트로피(Shannon entropy)를 평가합니다. 높은 엔트로피(불확실성)는 "읽기"를 트리거하고, 낮은 엔트로피(높은 확신)는 "쓰기"를 트리거합니다.

주요 기여

1. ProactiveLLM 프레임워크: 스트리밍 시나리오에서 LLM 생성을 외부적으로 고정된 수동적 적응에서 능동적 상호작용으로 전환하는 새로운 접근 방식을 제시하며, 외부 정렬 주석의 필요성을 제거했습니다.
2. 내생적 학습 메커니즘: 부분 문맥에서 전체 문맥으로의 의존성 신호와 의미론적 충분성 큐를 모델 자체의 상태로부터 직접 배양하기 위해 MSLM과 SPSD를 도입했습니다.
3. 플러그 앤 플레이 적응성: 분리된 아키텍처를 통해 백본을 재학습하지 않고도 다양한 결정 헤드(어텐션 기반, 엔트로피 기반 또는 엄격한 규칙 기반)를 통합할 수 있으며, 이를 텍스트와 음성 모달리티 전반에 걸쳐 검증했습니다.

실험 결과

저자들은 기계 번역(단조적), 요약, 질의응답(비단조적)을 포함한 텍스트 및 음성 스트리밍 작업에 대해 ProactiveLLM을 평가했습니다.

• 고정 간격 대비 성능: 비단조적 작업(예: 선택형 QA)에서 ProactiveLLM은 고정 간격 베이스라인(Wait-$k$)보다 성능이 크게 향상되었습니다. 예를 들어, 선택형 QA에서 ProactiveLLM은 입력 문맥의 **78%**만을 소비하면서도 오프라인 배치 성능 상한의 **97.16%**를 유지하였으며, 평균 상호작용 지연(Average Interaction Lag, AIL)을 21.6% 감소시켰습니다.
• 학습 기반 베이스라인 대비 성능: 값비싼 외부 정렬 데이터(예: GPT-5.4 또는 Qwen3-32B를 교사로 사용)에 의존하는 방법들과 비교했을 때, ProactiveLLM은 별도의 데이터 구축이나 서로 다른 지연 수준을 위한 재학습 없이도 비단조적 QA 작업에서 우수한 F1 점수를 달성했습니다.
• 효율성: 프레임워크는 배치 처리와 비교하여 감소된 인지적 중복(출력 토큰당 읽기 커버리지, RCO로 측정)과 더 낮은 절대적 종단 간(end-to-end) 지연 시간을 보여주었습니다.
• 절제 연구(Ablation Studies): MSLM 또는 SPSD 중 하나라도 제거하면 성능 저하가 발생하였으며, 이는 두 구성 요소 모두가 저지연 제약 조건 하에서 품질을 유지하는 데 필수적임을 확인시켜 줍니다.

의의 및 주장

본 논문은 ProactiveLLM이 내부 상태를 기반으로 의미론적 충분성을 동적으로 평가할 수 있게 함으로써, 스트리밍 LLM의 핵심 과제인 상호작용 타이밍 문제를 해결한다고 주장합니다.

• 확장성: 외부 교사, 타이밍 레이블 또는 비용이 많이 드는 추론 궤적에 대한 의존성을 제거함으로써, 이 프레임워크는 반응형 스트리밍 LLM을 구축하기 위한 실용적인 콜드 스타트 솔루션을 제공합니다.
• 다양성: 분리된 설계 덕분에 동일하게 학습된 백본이 다양한 상호작용 정책을 지원할 수 있어, 아키텍처 변경 없이 다양한 다운스트림 요구 사항에 적응할 수 있습니다.
• 효율성-품질 트레이드오프: 본 연구는 능동적 상호작용이 특히 엄격한 규칙이 실패하는 복잡한 비단조적 시나리오에서 지연 시간과 생성 품질 사이의 우수한 균형을 달성할 수 있음을 입증합니다.

저자들은 이 접근 방식이 더욱 반응적이고 효율적인 실시간 AI 시스템을 개발하기 위한 다재다능한 토대를 제공하며, 강화 학습이나 선호도 튜닝을 통한 향후 최적화의 길을 열어준다고 결론짓습니다.