기술 요약: 잠재 캐시 흐름 (LCF)

1. 문제 제기

현재 대규모 언어 모델 (LLM) 에이전트 워크플로는 텍스트 매개 통신에 의존합니다. 한 모델 (공유자) 이 다른 모델 (수신자) 에게 정보를 전달할 때, 내부 상태를 이산 토큰으로 자동회귀적 (autoregressively) 으로 디코딩해야 하며, 수신자는 이를 다시 인코딩해야 합니다. 이 과정은 상당한 지연 시간(토큰 생성 대기) 과 정보 손실(연속적인 내부 상태를 이산 토큰으로 압축) 을 초래합니다.

최근 연구인 **캐시 - 투 - 캐시 (C2C)**는 KV(키 - 값) 캐시를 직접 교환함으로써 텍스트 생성을 우회하려 시도했습니다. 그러나 C2C 는 두 가지 치명적인 한계가 있습니다:

1. 컨텍스트 정렬 요구 사항: C2C 는 공유자와 수신자가 동일한 입력 토큰을 동일한 위치에서 처리해야 합니다. 이는 모델이 서로 다른 하위 작업, 도구, 또는 컨텍스트 조각을 처리하는 다중 에이전트 시스템에서는 실패합니다.
2. 어댑터 오버헤드: C2C 는 키와 값을 위한 크고 독립적인 퓨저 (fuser) 모듈을 사용하여 막대한 어댑터 크기 (예: 11 억 파라미터 모델 쌍의 경우 956 MB) 를 초래하며, 이는 훈련과 배포에 비용이 많이 듭니다.

2. 방법론

이 논문은 효율성과 컨텍스트 유연성을 각각 해결하기 위해 **잠재 캐시 흐름 (LCF)**과 그 확장인 LCF-X를 소개합니다.

2.1. 공유 컨텍스트를 위한 잠재 캐시 흐름 (LCF)

LCF 는 캐시 전송을 토큰 단위 번역이 아닌 압축된 통신으로 재해석합니다. LCF 는 두 가지 아키텍처 변경을 통해 C2C 의 비효율성을 해결합니다:

• 통합 키 - 값 파이프라인: C2C 가 키와 값을 위해 퓨저 파이프라인을 중복하는 대신, LCF 는 이를 동일한 숨겨진 상태의 투영으로 간주합니다. 공유자와 수신자의 KV 캐시를 연결하고 평탄화한 후, **단일 공유 저차원 잠재 병목 (bottleneck)**을 통해 처리합니다.
• 잠재 압축: 결합된 표현은 컴팩트한 잠재 차원 ($d$) 으로 투영된 후 MLP 를 거쳐 수신자의 캐시 공간으로 다시 상향 투영됩니다. 이를 통해 어댑터 크기가 크게 감소합니다 (예: $d=128$인 경우 956 MB 에서 약 39 MB 로 감소).
• 레이어 가지치기: LCF 는 학습된 Gumbel-sigmoid 게이트를 활용하여 캐시 업데이트의 이득을 보는 수신자 레이어를 동적으로 선택합니다. 이를 통해 정확도를 희생하지 않으면서도 "사망" 레이어를 제거하여 어댑터 풋프린트를 추가로 줄일 수 있습니다.

2.2. 교차 컨텍스트 통신을 위한 LCF-X

정렬된 토큰 위치 요구 사항을 해결하기 위해, LCF-X는 표준 LCF 프로젝터 앞에 공유자 측 풀링 모듈을 도입합니다.

• 스팬 풀링 (Span Pooling): 공유자의 컨텍스트를 $P$개의 스팬 (예: 단락) 으로 나눕니다. 학습된 쿼리가 각 스팬 내의 토큰에 어텐션하여 요약된 키 - 값 쌍을 생성합니다.
• 전역 집계: 두 번째 어텐션 단계가 이러한 스팬 요약들을 하나의 고정 크기 텐서로 집계하여 공유자의 학습된 컨텍스트를 표현합니다.
• 위치 무관 전송: 이 요약 텐서는 수신자의 시퀀스 전체에 브로드캐스트되어 토큰 정렬 캐시 업데이트의 필요성을 대체합니다. 이를 통해 서로 다른 컨텍스트 (예: 문서의 다른 조각) 를 처리하는 모델 간 통신이 가능해집니다.

3. 주요 기여

1. 효율적인 어댑터 설계: LCF 는 공유 잠재 병목과 레이어 가지치기를 활용하여 어댑터 크기를 C2C 의 약 4% 수준 (예: 956 MB 대비 13 MB) 으로 줄이면서도 공유 컨텍스트 설정에서 정확도를 유지하거나 향상시킵니다.
2. 컨텍스트 유연성: LCF-X 는 C2C 의 엄격한 토큰 정렬 제약을 제거하여 서로 다른 컨텍스트를 가진 모델 간 캐시 수준 통신을 가능하게 합니다. 이는 과거에는 텍스트를 통해서만 가능했던 기능입니다.
3. 성능 우위성: 이 논문은 압축된 캐시 전송이 정확도와 지연 시간 측면에서 전체 폭 캐시 전송 (C2C) 과 텍스트 기반 통신 (T2T) 모두를 능가할 수 있음을 입증합니다.

4. 실험 결과

4.1. 공유 컨텍스트 성능 (LCF 대 C2C)

Qwen2.5-0.5B(공유자) 와 Qwen3-0.6B(수신자) 를 사용하여 MMLU-Redux, ARC-Challenge, OpenBookQA, MMLU-Pro 에서 평가:

• 정확도: LCF-256 은 가중 평균 정확도 **32.88%**를 달성하여 C2C(29.13%) 를 능가하고 최적 라우팅 프론티어 (ORF, 31.99%) 에 근접했습니다.
• 효율성: LCF-128 은 956 MB 인 C2C 와 비교해 오버헤드가 39 MB에 불과하면서도 31.94% 의 정확도를 달성했습니다.
• 가지치기: 9 개 레이어 (13 MB) 로 공격적으로 가지치기를 수행해도 31.26% 의 정확도를 유지하여 C2C 를 여전히 크게 능가했습니다.
• 훈련 비용: 훈련 시간은 C2C 와 비슷했습니다 (동결된 모델 프리필이 주를 이룸). 하지만 LCF 는 훨씬 적은 학습 가능 파라미터를 필요로 했습니다.

4.2. 교차 컨텍스트 성능 (LCF-X 대 텍스트)

모델이 분리된 단락 집합을 처리하는 HotpotQA-bridge 에서 평가:

• 정확도: LCF-X 는 35.13 F1과 **25.28 Exact Match (EM)**를 달성하여 가장 강력한 텍스트 기반 베이스라인 (T2T Max 200 토큰) 보다 F1 +2.47, EM +4.75만큼 우월한 성능을 보였습니다.
• 지연 시간: LCF-X 는 Time-to-First-Token (TTFT) 을 48 ms로, Time-to-End-of-Answer (TTEoA) 를 94 ms로 줄였습니다. 이는 T2T(각각 410 ms, 502 ms) 대비 8.5 배의 속도 향상입니다.
• 스팬 불변성: 모델은 재훈련 없이 다양한 스팬 분할 방식 (단락, 토큰, 문장) 에 걸쳐 성능을 유지하여 입력 구조에 대한 견고성을 입증했습니다.

5. 중요성과 주장

이 논문은 잠재 캐시 흐름이 모델 간 통신 인터페이스의 전환을 의미한다고 주장합니다:

• 텍스트에서 캐시로: 순차적이고 손실적인 텍스트 생성에서 직접적이고 압축된 캐시 수준 전송으로 통신 방식을 이동시킵니다.
• 정렬에서 유연성으로: 이전 캐시 방법의 엄격한 공유 컨텍스트 요구 사항을 완화하여 서로 다른 역할과 컨텍스트를 가진 에이전트들이 효율적으로 통신할 수 있게 합니다.
• 확장성: 어댑터 오버헤드를 수차례 줄임으로써 (예: 가지치기된 변형의 경우 파라미터를 76 배 감소), LCF 는 다중 모델 통신의 배포 가능성을 높입니다.

저자들은 이러한 결과가 초기 검증임을 지적합니다. 향후 연구는 다양한 모델 패밀리, 더 큰 규모, 그리고 멀티턴 통신과 이질적인 도구를 포함하는 더 복잡한 에이전트 워크플로우에 걸쳐 LCF 를 테스트하는 것이 필요합니다.