기술 요약: 내가 보는 것을 보고, 내가 생각하는 것을 알다: 이종 에이전트 간의 조밀한 잠재적 통신 (Dense Latent Communication Across Heterogeneous Agents)

1. 문제 정의

현재 대규모 언어 모델(LLM) 기반 멀티 에이전트 시스템(MAS)은 주로 텍스트 기반 통신에 의존합니다. 이 방식은 유연하지만, 에이전트 간의 매 핸드오프(handoff)마다 발생하는 디코딩 및 재인코딩 사이클로 인해 상당한 오버헤드가 발생하며, 정보 손실과 계산 효율성 저하를 초래합니다. 잠재적 통신(Latent communication), 특히 키-값(KV) 캐시 전송은 에이전트가 내부 표현을 직접 공유할 수 있게 함으로써 유망한 대안을 제시합니다.

그러나 기존의 잠재적 통신 연구는 두 가지 결정적인 한계에 직면해 있습니다:

1. 동질성 편향 (Homogeneity Bias): 대부분의 선행 연구는 동질적 에이전트(동일한 모델 아키텍처를 가진 에이전트)를 가정하며, 이 경우 잠재 공간(latent spaces)이 자연스럽게 정렬됩니다. 하지만 이종 에이전트(서로 다른 모델 크기, 깊이 또는 아키텍처) 간에 KV 캐시를 전송하는 것은 좌표 공간, 레이어 깊이, 헤드 구조의 불일치로 인해 매우 까다로운 문제입니다.
2. 문맥 인지 제한 (Context-Aware Restriction): 기존의 이종 모델 방법론들은 수신자가 이미 원래의 입력 문맥을 보유하고 있는 문맥 인지(context-aware) 환경에서 작동합니다. 이 설정에서 전송된 잠재 신호는 단지 수신자의 추론을 "유도(steer)"하기 위한 것이므로, 희소하거나 손실이 있는 정보 전송만으로도 충분합니다. 하지만 이종 에이전트가 송신자의 전송된 잠재 값만을 바탕으로 작업을 수행해야 하는 문맥 비인지(context-unaware) 통신, 즉 수신자가 원래의 입력을 보지 못한 상태에서도 통신을 수행할 수 있는지는 여전히 불분명합니다.

핵심 질문은 다음과 같습니다: 이종 에이전트들이 "마음 읽기(mind reading)", 즉 한 에이전트가 보는 것(조밀한 문맥)과 어떻게 생각하는지(추론 신호)를 모두 전달할 수 있을 만큼 충분히 정렬될 수 있는가?

2. 방법론

2.1 정보 구조 분석 (이중성)

솔루션을 제안하기에 앞서, 저자들은 동질적인 자기 통신(self-communication) 설정에서의 KV 캐시에 대한 압축 센싱(compressed-sensing) 분석을 수행하여 정보 병목 현상을 이해합니다. 이들은 두 가지 통신 체제 사이의 근본적인 이중성을 식별했습니다:

• 문맥 인지 체제 (Context-Aware Regime): 수신자가 입력을 가지고 있습니다. 채널은 주로 **희소한 추론 신호(sparse reasoning signals)**를 필요로 합니다. 수신자의 로컬 문맥이 지식의 대부분을 제공하기 때문에, KV 그룹의 작은 부분집합만으로도 수신자를 유도하기에 충분합니다.
• 문맥 비인지 체제 (Context-Unaware Regime): 수신자가 입력을 가지고 있지 않습니다. 채널은 **조밀한 문맥 지식(dense contextual knowledge)**을 운반해야 합니다. 성능은 KV 캐시의 상당 부분이 전송될 때까지 무작위 수준에 머무는데, 이는 작업에 필수적인 정보가 캐시 전체에 넓게 분포되어 있음을 나타냅니다.

이 분석은 기존의 희소 유도(sparse-steering) 방식이 문맥 비인지 설정에는 불충분함을 드러내며, 조밀한 정렬(dense alignment) 프레임워크의 필요성을 시사합니다.

2.2 조밀한 잠재 통신 프레임워크

제안된 방법인 **조밀한 정렬(Dense Alignment)**은 경량 크로스 모델 어댑터와 2단계 학습 전략을 통해 이종 모델 간의 KV 캐시 전송을 가능하게 합니다.

아키텍처 설계

변환 모듈 $\mathcal{T}_\theta$는 세 가지 핵심 메커니즘을 통해 송신자의 KV 캐시($\mathcal{C}_S$)를 수신자 호환 캐시($\tilde{\mathcal{C}}_R$)로 매핑합니다:

1. 위치 디엔탱글먼트 (Positional Disentanglement): 내용과 모델 특유의 회전을 결합하는 로터리 위치 임베딩(RoPE)을 변환 전 송신자 캐시에서 제거한 후, 변환 후 수신자의 위치 규약에 따라 다시 적용합니다. 이를 통해 위치 인코딩 차이와 독립적인 내용 정렬을 보장합니다.
2. 레이어 정렬 (Layer Alignment): 단조 매핑(monotonic mapping)을 사용하여 송신자 레이어를 깊이에 따라 수신자 레이어와 정렬함으로써, 로컬 특징에서 태스크 수준의 추상화로 이어지는 진행 과정을 보존합니다.
3. 게이팅을 포함한 헤드별 변환 (Per-Head Transformation with Gating): 각 KV 그룹은 경량 MLP를 통해 변환됩니다. 결정적으로, 각 KV 그룹에 학습 가능한 게이트($\gamma$)가 적용됩니다. 이를 통해 모델은 압축 센싱 분석에서 확인된 대로 희소한 추론 신호를 동적으로 우선순위화하는 동시에, 문맥 비인지 전송에 필요한 조밀한 정보를 유지할 수 있습니다.

2단계 학습 전략

어댑터가 조밀한 재구성(reconstruction)과 실행 가능한 생성(generation)을 모두 학습하도록 하기 위해 학습을 두 단계로 나눕니다:

• 1단계: 수신자-캐시 재구성 (Receiver-Cache Reconstruction): 쌍을 이룬 입력에 대해 송신자의 캐시로부터 수신자 자신의 KV 캐시를 재구성하도록 어댑터를 학습시킵니다. 손실 함수는 변환된 송신자 캐시와 수신자의 고유 캐시 사이의 $L_2$ 거리를 최소화합니다. 이는 어댑터가 송신자의 상태를 수신자의 잠재 공간 내에서 조밀하고 재사용 가능한 표현으로 학습하도록 강제합니다.
• 2단계: 생성 지향적 통신 (Generation-Oriented Communication): 어댑터를 다운스트림 생성 작업에 맞춰 미세 조정합니다. 학습 데이터에는 문맥 인지(수신자가 입력을 봄)와 문맥 비인지(수신자가 캐시만 봄) 프롬프트가 혼합되어 포함됩니다. 이러한 공동 최적화는 변환된 캐시가 전자의 경우 구조화된 추론 신호로, 후자의 경우 누락된 문맥에 대한 조밀한 대리물(surrogate)로 기능하게 합니다.

3. 주요 기여

1. 압축 센싱 분석 및 프로토콜: 저자들은 잠재적 통신의 희소성 대 조밀성 성격을 밝히는 엄격한 분석을 제공합니다. 그들은 잠재 채널이 외부 문맥 없이도 작업에 필수적인 지식을 충실히 운반할 수 있는지 평가하기 위해 더 엄격한 문맥 비인지 프로토콜을 도입했습니다.
2. 조밀한 정렬 프레임워크: 추론과 문맥 정보를 모두 보존하는 이종 KV-캐시 전송을 위한 새로운 프레임워크를 제안합니다. 주요 혁신 요소로는 위치 디엔탱글먼트, 헤드별 게이팅, 그리고 재구성에 이은 생성 단계의 2단계 학습 전략이 포함됩니다.
3. 효율성 및 성능: 이 방법은 텍스트 기반 통신(T2T)보다 정확도가 높거나 대등하면서도 계산 비용을 크게 줄이는 조밀한 정렬이 가능하다는 것을 입증했습니다.

4. 실험 결과

본 방법은 6개의 벤치마크(GSM8K, MATH-500, ARC-C, MMLU-Redux, MedQA, OpenBookQA)에서 Qwen3 모델(4B, 8B, 14B)의 6가지 이종 쌍을 대상으로 평가되었습니다.

문맥 인지 결과

• 정확도: 이 방법은 모든 인도메인(in-domain) 작업에서 텍스트-투-텍스트(T2T) 통신과 대등하거나 더 높은 성능을 보였으며, 외도메인(OOD) 벤치마크에서도 경쟁력 있는 성능을 보였습니다. 또한 희소 유도(C2C) 베이스라인을 일관되게 능가했습니다.
• 효율성: 이 방법은 T2T 대비 2~3배 낮은 연산량(예시당 TFLOPs로 측정)을 달성했습니다. 많은 경우, 송신자가 자기회귀적 디코딩을 피하고 수신자가 긴 텍스트 프롬프트를 재인코딩할 필요가 없기 때문에 "수신자 전용(Receiver-only)" 베이스라인보다도 효율적입니다.

문맥 비인지 결과

• 강건성: 이 체제는 정보 밀도를 테스트하는 엄격한 시험대 역할을 합니다. 기존 베이스라인(T2T 및 C2C)은 이 설정에서 무너졌으며, 특히 C2C는 추론 작업에서 정확도가 0%에 가깝게 떨어졌습니다.
• 성능: 제안된 조밀한 정렬 방법은 매우 효과적이며, 모든 쌍과 벤치마크에서 자신의 문맥 인지 성능과 비교했을 때 0~10% 포인트 이내의 정확도를 유지했습니다.
• 효율성: 8B $\to$ 4B 방향에서, 이 방법은 6.6 TFLOPs에서 높은 정확도를 달_성했는데, 이는 순수 4B 수신자(9.2 TFLOPs)보다 저렴하며 T2T 문맥 인지 통신보다 5배 더 저렴합니다.

시각화

잠재 공간의 PCA 시각화는 변환된 송신자 캐시가 수신자의 고유 매니폴드(manifold)와 겹친다는 것을 확인시켜 주며, 이는 취약한 지름길(shortcut)이 아닌 진정한 기하학적 정렬이 이루어졌음을 나타냅니다.

5. 의의 및 주장

본 논문은 이종 멀리 에이전트 시스템에서 **교차 모델 잠재 정렬(cross-model latent alignment)**의 근본적인 과제를 해결한다고 주장합니다. 저자들은 희소한 추론과 조밀한 지식 요구 사항을 구분함으로써, 문맥 인지 설정에서의 기존 평가가 잠재적 통신의 진정한 능력을 테스트하기에는 불충분했음을 강조합니다.

이 연구의 의의는 다음과 같습니다:

• "마음 읽기"의 실현 가능성: 서로 다른 아키텍처를 가졌음에도 불구하고 이종 에이전트가 "보는 것"(문맥)과 "생각하는 방식"(추론)을 모두 전송할 수 있음을 입증했습니다.
• 계산 효율성: 조밀한 설정에서 텍스트보다 정확할 뿐만 아니라 훨씬 더 저렴한 통신 채널을 제공하여, 자원이 제한된 환경에서 효율적인 모델 전환과 협업을 가능하게 합니다.
• 확장성: 공유된 입력이나 동일한 모델 구조라는 제한적인 가정에 의존하지 않는 조밀한 정보 전송 경로를 제공합니다.

저자들은 현재 방법이 특정 송신자-수신자 쌍마다 학습 과정이 필요하다는 점과, 문맥 비인지 전송이 원래의 프롬프트 없이 채널을 통해 무엇을 추론할 수 있는지에 대한 새로운 개인정보 보호 문제를 제기할 수 있다는 한계점을 언급했습니다.