기술 요약: 더 레이턴트 브리지 (The Latent Bridge)

문제 정의

일반적인 컴퓨터 사용(GCU), 특히 비디오 게임 분야에서의 실시간 에이전트는 근본적인 지연 시간-품질 간의 트레이드오프(latency–quality tradeoff) 문제에 직면해 있습니다. 효과적인 작동을 위해서는 수십 밀리초 단위(예: 15 Hz 제어 루프) 내에서 행동해야 하는 동시에, 몇 초 단위의 계획(planning)을 수행할 수 있어야 합니다. 현재의 최첨단 모델들은 이 두 가지를 동시에 만족하는 데 어려움을 겪습니다:

• 추론 모델 (느림): Qwen3-VL-8B-Thinking과 같은 대규모 시각-언어 모델(VLM)은 심사숙고에는 뛰어나지만, 응답당 약 1.5초가 소요되어 실시간 제어에는 너무 느립니다.
• 반응형 모델 (빠름): MiniCPM-o 4.5와 같은 소규모 반응형 VLM은 밀리초 단위로 작동하지만, 복잡하고 긴 호흡의 계획을 세우는 능력은 부족합니다.

두 가지 체계를 모두 마스터하도록 단일 모델을 학습시키는 것은 매우 어렵습니다. 추론 능력의 급격한 진화 양상과 상호작용 특화 목적 함수로 인해 원시 지능이 희석될 위험이 있기 때문입니다. 이에 따라 저자들은 **디커플링된 접근 방식(decoupled approach)**을 조사합니다. 즉, 동결된 고품질의 "느린" 추론 모델과 별도의 동결된 "빠른" 반응형 모델을 결합하는 것입니다. 핵심 연구 질문은 어떻게 하면 느린 모델의 심사숙고를 빠른 모델로 가장 잘 전달할 것인가 하는 점입니다: 표준 텍스트 기반 채널로 충분한가, 아니면 학습된 연속적 잠재 채널(learned continuous latent channel)이 더 우수한 성능을 보이는가?

방법론

시스템 아키텍처

저자들은 규모가 일치하는 두 개의 동결된 오픈 소스 멀티모달 모델을 결합합니다:

• 빠른 모델 (반응형): MiniCPM-o 4.5 (9B 파라미터), 약 15 Hz로 작동.
• 느린 모델 (추론): Qwen3-VL-8B-Thinking (8B 파라미터), 비동기적으로 약 1 Hz로 작동.

통신 채널은 유일하게 학습 가능한 구성 요소입니다. 세 가지 전략을 비교합니다:

1. Fast-Only (F): 빠른 모델이 느린 모델을 무시하고 단독으로 행동함.
2. Text Bridge (T): 느린 모델의 전체 텍스트 출력을 빠른 모델의 입력 접미사(suffix)로 그대로 이어 붙임.
3. Latent Bridge (L): 느린 모델의 잔차 스트림(residual stream, 구체적으로 레이어-24 잔차)을 작은 다층 퍼셉트론(MLP)을 통해 빠른 모델의 입력 임베딩 공간(4096-d)으로 투영합니다. 이렇게 투영된 토큰들은 LLaVA가 시각적 토큰을 투영하는 방식과 유사하게 빠른 모델의 입력 시퀀스 앞에 추가(prepend)됩니다. 이는 텍스트 왕복 과정을 피합니다.

학습 파이프라인

학습 과정은 두 기본 VLM을 동결된 상태로 유지하며 세 단계로 진행됩니다:

1. Action-Head Cloning: 전문가 궤적(Stable-Baselines3 활용)을 통한 행동 클로닝(BC)을 통해 빠른 모델의 액션 헤드를 학습시킵니다.
2. Trajectory Caching: 느린 모델이 텍스트와 잔차를 출력하는 데이터를 수집합니다.
3. Bridge Distillation: 잠재 토큰에 조건화된 정책($\pi_L$)과 텍스트에 조건화된 정책($\pi_T$) 사이의 KL-다이버전스(KL-divergence)를 최소화하도록 투영 MLP를 학습시킵니다.

실험 설정

• 도메인: 7가지 Atari 게임(예: MsPacman, RoadRunner) 및 MetaDrive 드라이빙 시뮬레이터(제어된 부정적 사례로 사용).
• 평가: 각 구성은 12개의 에피소드(시드 3개 × 에피소드 4개)에 대해 테스트됩니다.
• 디코더 튜닝: 공정한 비교를 위해, 서로 다른 채널이 선호하는 디코딩 전략이 다를 수 있으므로 각 채널에 대해 액션 디코더(예: greedy vs. sampling temperature)를 홀드아웃 시드(held-out seeds) 상에서 별도로 튜닝합니다.

주요 기여

1. 아키텍처: LLaVA 스타일의 Prepending

저자들은 크로스 어텐션(cross-attention) 아키텍처(v1)가 오프라인에서는 수렴하더라도 배포 시에는 실패한다는 것을 발견했습니다. 성공적인 아키텍처(v2)는 LLaVA 패턴을 채택합니다: 느린 잔차를 직접 빠른 모델의 입력 임베딩 공간으로 투영하여 앞에 붙이는 방식입니다. 이를 통해 빠른 LLM의 모든 레이어가 표준 인과적 어텐션(causal attention)을 통해 느린 모델의 출력을 참조할 수 있게 됩니다.

2. "안전하거나 혹은 더 나은" 드롭인(Drop-in)으로서의 Latent Bridge

채널별로 튜닝했을 때, Latent Bridge (L)는 결코 Text Bridge (T)보다 성능이 크게 떨어지지 않으며, 특정 도메인에서는 이를 상당히 능가합니다:

• MsPacman: T 대비 +57% 개선.
• RoadRunner: T 대비 +28% 개선.
• 기타 게임: T와 통계적으로 대등함.
• 결합된 채널: 텍스트와 잠재 채널을 동시에 사용하면 파괴적인 간섭이 발생하여(예: RoadRunner 점수가 96% 하락), 동결된 액션 헤드가 이중 조건화 신호를 처리할 수 없음을 보여줍니다. 설계 규칙은 정확히 하나의 채널만 사용하는 것입니다.

3. "태스크 의존적" 예측기

논문은 브리지가 유용한 시점을 판단하는 강력한 행동 예측기를 제시합니다. Fast-Only 대비 Latent Bridge의 이점($L-F$)은 Fast-Only 대비 Text Bridge의 이점($T-F$)을 피어슨 상관계수 $r = 0.93$로 추적합니다.

• 결론: 브리지는 느린 모델의 추론이 실제로 과업 성능을 향상시킬 때만($T > F$) 도움이 됩니다.
• 대조 사례: 정교한 시각-운동 루프가 지배적인 MetaDrive(운전 작업)의 경우, 느린 모델은 아무런 가치를 제공하지 못합니다($T \approx F$). 결과적으로 Latent Bridge 역시 무력하며(Fast-Only보다 나을 것이 없음), 이는 브리지의 효용성이 채널의 대역폭이 아닌 태스크의 속성임을 확인시켜 줍니다.

4. 메커니즘 분석

• 대역폭 제한이 아님: 잠재 토큰 수를 8개 이상으로 늘려도 텍스트 길이에 따른 현상과 같은 수렴/한계가 나타나지 않습니다. 즉, 브리지는 병목이 아닙니다.
• 비어휘적 내용(Non-Lexical Content): 잠재 토큰은 텍스트와 유사한 정보를 인코딩하지 않습니다. 이들은 게임 정체성에 따라 클러스터링되며 출력 간 변동성이 낮은(3~8% 변동) 비어휘적 벡터입니다. 이들은 고정된 LLM이 참조하지만 어떤 텍스트 토큰도 차지하지 않는 임베딩 공간의 영역을 점유합니다.
• 액션 헤드의 취약성: 초기 실험의 많은 성능 붕괴는 브리지의 실패가 아니라, 빠른 모델의 액션 헤드가 OOD(분포 외) 입력(텍스트 접미사 또는 잠재 토큰)에 취약했기 때문입니다. "강건성"(접미사에 대한 노출)을 고려하여 액션 헤드를 재학습하면 이러한 붕로를 해결할 수 있습니다.

결과 요약

게임	Fast-Only (F)	Text Bridge (T)	Latent Bridge (L)	결과
MsPacman	273	401	628	L이 T를 크게 압도 (+57%)
RoadRunner	0 (bare head)	475	608	L이 T를 크게 압도 (+28%)
River Raid	994	639	566	대등 (F가 실제로는 최고)
Seaquest	57	143	125	대등
MetaDrive	~Baseline	~Baseline	~Baseline	무력 (느린 모델이 가치를 더하지 않음)

참고: RoadRunner의 F 점수 0은 "순수(bare)" 액션 헤드 기준입니다. 강건한 헤드를 사용하면 F도 점수를 얻을 수 있지만, 여전히 L이 T보다 우수합니다.

의의 및 주장

본 논문은 Latent Bridge가 분리된 fast-slow 에이전트를 위한 우수한 결합 메커니즘임을 주장하며, 이는 느린 모델의 추론이 실제로 과업에 유익할 때 성립합니다.

• 효율성: 텍스트 생성 및 전송에 따른 지연 시간과 토큰 오버헤드를 방지합니다.
• 성능: 텍스트 결합이 최적이 아닌 계획 중심의 게임에서 최첨단(SOTA) 결과를 달성합니다.
• 일반화: 브리지의 성공은 예측 가능합니다. 텍스트 브리지가 도움이 되지 않는다면, 잠재 브리지 역시 도움이 되지 않을 것입니다. 이는 문제를 "더 많은 정보를 어떻게 전달할 것인가"에서 "느린 모델이 전달할 유용한 정보가 있는가?"로 재정의합니다.
• 한계: 저자들은 브리지가 항상 Fast-Only보다 우월하지는 않다는 점(예: River Raid에서 F가 최고)을 언급합니다. 현재 평가는 Atari와 단일 드라이빙 도메인으로 제한되어 있으며, 궁극적인 테스트는 더 큰 액션 공간을 가진 데스크톱 및 스마트폰에서의 실시간 컴퓨터 사용이 될 것입니다.

이 연구는 학습된 연속 채널이 동결된 모델 간의 텍스트 기반 통신을 효과적으로 대체할 수 있음을 입증하지만, 그 효용성은 근본적으로 느린 추론 프로세스 자체의 유용성에 의해 엄격히 제한된다는 것을 보여줍니다.