기술 요약: 토큰을 넘어: LLM 기반 멀티 에이전트 시스템을 위한 잠재적 통신(Latent Communication)의 통합 프레임워크

1. 문제 정의

LLM(대규모 언어 모델) 기반의 멀티 에이전트 시스템(MAS)은 현재 **자연어(Natural Language, NL)**를 주요 통신 프로토콜로 사용하고 있습니다. 해석 가능성은 높지만, 이러한 토큰 단위의 교환는 세 가지 구조적 한계를 가집니다:

1. 높은 추론 비용: 모든 메시지는 송신자가 내부 추론을 토큰으로 디코딩해야 하고, 수신자가 이를 다시 인코딩해야 하므로 통신만을 위해 이중의 계산 오버헤드($O(L \cdot T \cdot d)$)가 발생합니다.
2. 정보 손실: 약 40,000비트의 정보를 담고 있는 고차원 은닉 상태(hidden state)를 단일 토큰(단일 토큰은 $\log_2 V \approx 15$ 비트로 제한됨)으로 이산화함으로써, 보정된 신뢰도, 대안적 추론 경로 및 미세한 의미적 차이를 버리게 됩니다.
3. 중복성과 모호성: 자연어는 정보 밀도가 아닌 유창성에 최적화되어 있어, 공손함의 표현, 완곡한 어법, 모호한 지시어 등으로 인한 오버헤드가 발생합니다.

**잠재적 통신(Latent Communication)**은 에이전트들이 언어라는 병목 현상을 우회하여 연속적인 내부 표현(임베딩, 은닉 상태 또는 KV-캐시)을 직접 교환하는 대안을 제안합니다. 이는 인간의 해석 가능성을 희생하는 대신, 정보량을 보존하고 지연 시간을 줄이는 것을 목표로 합니다.

2. 방법론: 통합 3축 프레임워크

본 논문은 잠재적 통신에 관한 급격히 확장되는 문헌들을 정리하기 위해 통합 프레임워크를 도입합니다. 이 프레임워크는 모든 잠재적 통신 프로토콜을 세 가지 직교하는 축으로 분해합니다:

축 1: WHAT (교환되는 정보의 유형)

이 축은 송신자가 노출하는 연속적인 양을 정의합니다:

• 임베딩(Embeddings): 입력층 벡터(예: CIPHER). 정보량은 가장 적지만 아키텍처 부하가 적습니다.
• 은닉 상태(Hidden States): 중간 레이어 출력(예: AC, Interlat, SDE). 중간 추론 과정을 인코딩하지만 전체 컨텍스트 어텐션 키(attention keys)는 결여되어 있습니다.
• KV-캐시(KV-Caches): 어텐션 메커니즘의 키-값 쌍(예: KVComm, Cache-to-Cache). 정보량이 최대이며 수신자가 송신자의 컨텍스트를 "재개"할 수 있게 해주지만, 전송 비용과 아키텍처 의존성이 가장 높습니다.
• 기타(Other): 상태 델타(state deltas), 지속적 메모리 또는 시각적 잠재 주입(visual-latent injections)(예: Vision Wormhole).

축 2: WHICH (송신자-수신자 정렬)

이 축은 송신자의 잠재 공간이 수신자의 공간과 어떻게 매핑되는지를 정의합니다:

• 잠재 정보 정렬(Latent Information Alignment): 동일한 공간(동일 모델)부터 학습된 프로젝션 헤드(동질적 백본) 또는 범용 코덱(이질적 아키텍처)까지의 범위를 포함합니다.
• 레이어 정렬(Layer Alignment):
  • 마지막 $\to$ 첫 번째 (Last $\to$ First): 송신자의 마지막 레이어가 수신자의 첫 번째 레이어로 매핑됩니다.
  • 전체 $\to$ 대응 (All $\to$ Corresponding): 송신자의 레이어 $\ell$이 수신자의 레이어 $\ell$로 매핑됩니다 (KV-캐시 방식에서 흔함).
  • 선택 $\to$ 선택 (Selected $\to$ Selected): 특정 레이어의 휴리스틱 또는 학습된 선택.

축 3: HOW (정보 융합 전략)

이 축은 수신된 잠재 표현이 수신자의 계산에 어떻게 통합되는지를 정의합니다:

• 연결(Concatenation): 잠재 표현을 프롬프트나 은닉 상태에 이어 붙임.
• 앞에 삽입(Prepending): 잠재 표현(특히 KV-캐시)을 수신자 시퀀스의 시작 부분에 삽입.
• 수학적 연산(Mathematical Operations): 요소별 덧셈 또는 학습된 선형 투영(예: 상태 델타 추가).
• 교차 어텐션(Cross-Attention): 수신자가 일련의 피어(peer) 잠재 표현들에 어텐션을 수행.
• 캐시 복구(Cache Restoration): 재계산을 피하기 위해 수신자의 KV-캐시 일부를 직접 교체하거나 이식.

3. 주요 기여

본 논문은 네 가지 주요 기여를 합니다:

1. 통합 프레임워크: WHAT/WHICH/HOW 분해 방식을 제안하여, 잠재적 통신 방법들을 분류하고 비교할 수 있는 공유된 어휘를 제공합니다.
2. 체계적 분류: 2024년에서 2026년 사이에 발표된 18개의 대표적인 방법론을 분석하여, 이를 프레임워크에 매핑하고 다섯 가지 일반화 가능한 설계 패턴(예: 정보 풍부도와 전송 비용 간의 트레이드오프)을 식별했습니다.
3. 경험적 합성: 보고된 결과들을 종합하여, 잠재적 방식이 NL-Comm(자연어 통신)에 비해 지연 시간을 2~24배, 토큰 사용량을 3~4배 줄이면서도 정확도는 베이스라인과 대등하거나 더 우수함을 보여줍니다.
4. 열린 과제(Open Challenges): 여섯 가지 핵심 과제를 식별했습니다:
   • 교차 아키텍처 정렬(Cross-Architecture Alignment): 과도한 학습 없이 동일 모델 가정을 넘어설 것.
   • 보안(Security): 적대적 섭동(adversarial perturbations)에 대한 잠재 채널의 불투명성 문제 해결.
   • 압축(Compression): 엣지 배포를 위한 더 나은 양자화 및 압축 기술 개발.
   • 이론적 이해(Theoretical Understanding): 속도 향상 및 정보 전달에 대한 정보 이론적 경계 확립.
   • 잠재적 CoT 통합(Latent CoT Unification): 에이전트 내부의 잠재적 추론과 에이전트 간의 잠재적 통신 사이의 간극 해소.
   • 실제 환경 배포(Real-World Deployment): 엣지 제약 조건(배터리, 메모리, 대역폭)에 적응.

4. 결과 및 발견

논문은 조사된 18개 방법론의 결과를 다음과 같이 합성합니다:

• 지연 시간(Latency): 잠재적 통신은 상당한 속도 향상을 제공합니다. Interlat은 긴 컨텍스트 작업에서 최대 24배의 속도 향상을 보고했으며, Agent Memory는 디스크 지속적 KV-캐싱을 통해 136배의 TTFT(첫 토큰 생성 시간) 단축을 달성했습니다.
• 정확도(Accuracy): SDE(State Delta Trajectory) 및 Mixture of Thoughts(MoT)와 같은 방법들은 복잡한 추론 및 분포 외(out-of-distribution) 벤치마크에서 최첨단 성능(SOTA)을 보고했습니다.
• 학습 체계(Training Regime): 놀라운 추세는 아키텍처 정렬에 의존하는 학습이 필요 없는(training-free) 방법들(예: CIPHER, KVComm, RelayCaching)이 지배적이라는 점입니다. 학습은 주로 이질적 정렬이나 복잡한 융합 함수를 위해 필요합니다.
• KV-캐시의 우세: 높은 전송 비용에도 불구하고, 송신자의 전체 컨텍스트를 보존할 수 있는 능력 덕분에 KV-캐시 기반 방법들이 고충실도(high-fidelity) 통신의 기본 방식으로 떠오르고 있습니다.

5. 의의 및 주장

본 논문은 파편화된 분야에 구조화된 분류 체계를 제공함으로써 연구의 진입 장벽을 낮추는 것에 그 의의가 있다고 주장합니다. 저자들은 이 분야가 임시적인 구현 단계에서 체계적인 설계 공간으로 이동하고 있다고 봅니다.

저자들은 잠재적 통신이 자연어를 대체하는 보편적인 수단이라고 주장하지 않습니다. 대신, 하이브리드 관점을 제시합니다: 자연어는 인간의 감독, 디버깅, 안전 감사에 여전히 우월하지만, 지연 시간과 정보 밀도가 중요한 긴밀하게 결합된 에이전트 간 신호 전달에는 잠재적 통신이 더 적합하다는 것입니다.

결론적으로, 향-후 12~18개월 동안 교차 아키텍처 정렬 및 보안 문제를 중심으로 새로운 방법론, 벤치마크 및 이론적 이해가 촉진될 것으로 전망합니다.