🤖 AI

Towards Direct Latent-Space Synthesis for Parallel Branches in LLM-Agent Workflows

이 논문은 LLM 에이전트가 병렬 워커 브랜치들의 KV 캐시로부터 출력을 직접 합성할 수 있게 함으로써, 중복된 텍 общения 결합을 제거하고 다양한 작업에 걸쳐 성능을 유지하거나 향상시키면서도 지연 시간을 크게 줄이는 플러그 앤 플레이 프레임워크인 Parallel-Synthesis를 소개한다.

원저자: Shikun Liu, Mufei Li, Dongqi Fu, Haoyu Wang, Yinglong Xia, Hong Li, Hong Yan, Pan Li

게시일 2026-06-15

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Shikun Liu, Mufei Li, Dongqi Fu, Haoyu Wang, Yinglong Xia, Hong Li, Hong Yan, Pan Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다음은 "LLM 에이전트 워크플로우의 병렬 브랜치를 위한 직접적 잠재 공간 합성(Towards Direct Latent-Space Synthesis for Parallel Branches in LLM-Agent Workflows)" 논문을 쉬운 언어와 일상적인 비유를 사용하여 설명한 내용입니다.

문제점: "그룹 채팅"의 병목 현상

당신이 세 명의 연구원(워커 에이전트)을 이끄는 프로젝트 매니저(합성기/Synthesizer)라고 상상해 보세요. 당신의 목표는 복잡한 미스터리를 해결하는 것입니다.

기존 방식 (텍스트 직렬화 - Text-Serialization): 당신은 세 명의 연구원에게 각자 단서를 찾아오라고 지시합니다. 그들은 각자 찾은 내용에 대해 긴 보고서를 작성합니다. 최종 답을 얻기 위해, 당신은 그들이 보고를 마칠 때까지 기다려야 합니다. 그 후, 당신은 그들의 세 가지 별개 보고서를 가져와서 하나의 거대한 문서로 묶고, 결론을 쓰기 전에 그 전체 내용을 처음부터 끝까지 다 읽어야 합니다.
- 결함: 이 방식은 느립니다. 당신은 새로운 단서를 얻기 위해 동일한 배경 정보를 세 번이나 반복해서 읽게 됩니다(각 보고서마다 한 번씩). 이는 마치 책의 반전을 확인하기 전에 첫 장을 세 번이나 다시 읽어야 하는 것과 같습니다.
새로운 방식 (병렬 합성 - Parallel-Synthesis): 서면 보고서를 기다리는 대신, 당신에게는 특별한 "텔레파시 링크"가 있습니다. 연구원들이 업무를 마치자마자, 당신은 그들의 글을 읽는 것이 아니라, 즉시 그들의 뇌(잠재 상태(latent states) 또는 KV 캐시(KV caches))에 직접 "연결"합니다. 당신은 그들이 내용을 글로 적어 내려가거나 당신이 그것을 다시 읽을 필요 없이, 그들의 발견, 추론, 그리고 증거를 즉시 볼 수 있습니다.

"잠재 공간(Latent Space)"과 "KV 캐시(KV Caches)"란 무엇인가?

대규모 언어 모델(LLM)의 세계에서, 모델이 사고할 때 단순히 단어만을 저장하는 것이 아니라, 그 순간 알고 있는 것을 나타내는 복잡한 수학적 "지문"을 저장합니다. 이것을 **KV 캐시(Key-Value Cache)**라고 부릅니다.

비유: KV 캐시를 접시 위에 놓인 완성된 요리라고 생각하세요.
- 텍스트 기반 합성은 요리사에게 레시피를 적어서 보내달라고 요청한 뒤, 당신이 직접 재료를 사서 요리를 다시 만들어 맛을 보는 것과 같습니다.
- 병렬 합성은 요리사가 이미 뜨겁게 조리된 요리가 담긴 접시를 당신에게 바로 건네주는 것과 같습니다. 당신은 요리 단계를 통째로 건너뜁니다.

해결책의 작동 원리

이 논문은 **병렬 합성(Parallel-Synthesis)**이라는 프레임워크를 소개합니다. 이 시스템은 작업자(workers)와 매니저(manager) 사이의 번역기이자 가교 역할을 합니다. 여기에는 세 가지 주요 기술이 있습니다.

위치 재인코딩 (Positional Re-encoding - "타임라인 수정"):
- 문제: 세 명의 연구원은 서로 다른 타임라인에서 작업했습니다. 만약 이들의 "뇌 상태"를 그냥 쏟아부으면, 모델은 무엇이 먼저 일어났는지 혼란스러워합니다.
- 해결: 시스템은 그들의 타임라인을 정렬합니다. 시스템은 모델에게 이렇게 말합니다: "이 세 가지 생각이 서로 다른 곳에서 발생했더라도, 이 정확한 시점에서 모두 갈라져 나왔다고 가정하라." 이를 통해 생각을 하나의 텍스트 선형 구조로 강제하지 않고도 논리적 흐름을 유지합니다.
캐시 매핑 (Cache Mapping - "조절 노브"):
- 문제: 각 연구원은 자신의 내부 생각 속에서 약간씩 다른 "목소리"나 스타일을 가질 수 있습니다.
- 해결: 작고 똑똑한 도구(MLP)가 이러한 내부 상태를 조정하여, 매니저가 읽기 전에 그들이 동일한 "언어"를 사용하도록 만듭니다. 이는 마치 텔레파시 링크에 범용 번역기를 설치하여 매니저가 모든 사람의 말을 완벽하게 이해할 수 있도록 하는 것과 같습니다.
특화된 훈련 (Specialized Training - "연습 게임"):
- 이 시스템은 단순한 플러그가 아니라 훈련된 뇌입니다. 연구자들은 두 가지 유형의 연습을 통해 매니저 모델을 훈련시켰습니다.
  - 트랙 1: 여러 개의 "뇌 상태"를 동시에 읽는 법을 가르칩니다 (여러 라디오 채널을 동시에 듣는 법을 배우는 것과 같습니다).
  - 트랙 2: 해당 상태들을 바탕으로 좋은 결정을 내리는 법을 가르칩니다 (단순히 투표수를 세는 것이 아니라, 단서들을 비교하며 미스터리를 해결하는 법을 배우는 것과 같습니다).

결과: 더 빠르고 더 똑똑하게

이 논문은 수학 문제 풀이, 코드 작성, 데이터베이스 오류 진단, 과학 질문 답변 등 9가지 다양한 작업에 대해 이 새로운 방법을 테스트했습니다.

속도: "다시 읽기"와 "다시 요리하기" 단계를 건너뛰기 때문에, 시스템은 답변의 첫 단어를 생성하는 데 있어 2.5배에서 11배 더 빠릅니다.
정확도: 9가지 테스트 중 7가지에서 기존의 텍스트 기반 방식만큼, 혹은 그보다 더 나은 성능을 보였습니다.
- 왜 그럴까요? 어려운 추론 작업(수학이나 복잡한 과학 등)에서 "가공되지 않은 뇌 상태"는 서면 요약보다 더 많은 뉘앙스를 담고 있습니다. 모델은 글로 읽는 것보다 논리를 더 잘 "느낄" 수 있습니다.
- 참고: 단순한 사실 관계(객관식 질문 등)를 묻는 간단한 작업에서는 기존의 텍스트 방식도 여전히 매우 훌륭하지만, 새로운 방식이 결코 뒤처지지 않습니다.

이것이 "아닌" 것

이것은 AI의 순수 연산 속도(초당 처리 능력) 자체를 빠르게 만드는 방법이 아닙니다.
이것은 AI가 인간과 직접 소통하게 만드는 방법이 아닙니다 (최종 텍스트는 여전히 당신이 읽습니다).
이것은 모든 종류의 워크플로우를 위한 마법 같은 해결책은 아니지만, 여러 에이전트가 병렬로 작업하고 그 결과를 결합해야 하는 워크플로우에서는 매우 중요한 업그레이드입니다.

요약

**병렬 합성(Parallel-Synthesis)**은 AI 에이전트들이 서로 대화하는 새로운 방식입니다. 긴 보고서를 쓰고 그것을 다시 읽는 대신(느리고 반복적임), 그들은 자신의 "생각"을 가공되지 않은 내부 형식 그대로 직접 공유합니다. 이를 통해 엄청난 시간을 절약할 수 있으며, 놀랍게도 추론 과정의 풍부함을 온전히 보존함으로써 복잡한 문제에서 AI가 더 나은 결정을 내릴 수 있도록 돕습니다.

기술 요약: LLM 에이전트 워크플로우를 위한 직접적 잠재 공간 합성을 위한 병렬 합성(Parallel-Synthesis)

1. 문제 정의

대규모 언어 모델(LLM)은 현대적인 에이전트 시스템의 실행 엔진 역할을 하지만, 본질적으로 순차적인 텍스트 인터페이스를 통해 작동합니다. 이는 구조화된 에이전트 워크플로우, 특히 독립적인 하위 에이전트(워커)들이 병렬 브랜치(증거 검색, 하위 작업 해결, 후보 솔루션 생성 등)를 실행한 후 다운스트림 합성기(synthesizer)가 이들의 결과물을 병합하는 유향 비순환 그래프(DAG) 형태의 워크플로우와 근본적인 불일치를 발생시킵니다.

현재 시스템은 이러한 "병렬 실행 후 합성(parallel-then-synthesize)" 패턴을 처리하기 위해 모든 워커 브랜치의 텍스트 출력을 하나의 확장된 프롬프트로 결합하여 합성기에 전달합니다. 이 방식은 두 가지 주요 한계를 가집니다:

구조적 손실: DAG의 풍부한 의존 구조를 선형 시퀀스로 평탄화하여, 각 브랜치의 독립성을 상실시킵니다.
중복 계산: 합성기는 워커들의 출력을 텍스트로 다시 인코딩(prefill)해야 합니다. 이는 이미 워커의 디코딩 단계에서 키-값(KV) 캐시로 처리되어 인코딩된 토큰임에도 불구하고, 상당한 지연 시간과 계산 오버헤드를 발생시킵니다.

요약(summarization)이 잠재적인 완화책이 될 수 있으나, 이는 여전히 자연어 통신에 의존하므로 재인코딩이 필요하며 중요한 세부 정보를 누락할 위험이 있습니다. 본 논문은 더 직접적인 대안을 조사합니다: 합성기 에이전트가 병렬 워커 브랜치의 텍스트로 변환하지 않고도 그 잠재 KV 상태를 직접 소비할 수 있는가?

2. 방법론: 병렬 합성(Parallel-Synthesis)

저자들은 다운스트림 합성기가 병렬 워커 에이전트가 생성한 KV 캐시를 직접 재사용할 수 있게 하는 플러그 앤 플레이(plug-and-play) 프레임워크인 Parallel-Synthesis를 소개합니다. 이 프레임워크는 서로 떨어진 병렬 캐시와 합성기의 생성 프로세스 사이의 간극을 메우기 위해 설계된 세 가지 핵심 구성 요소로 이루어져 있습니다.

2.1 모델 아키텍처

위치 재인코딩 (Positional Re-encoding):
워커 출력 $z_j$ 는 원래 특정 브랜치 컨텍스트 $c_j$ 를 기준으로 생성되었으므로 고유한 RoPE(Rotary Positional Embedding) 위치를 가집니다. 이들을 공동으로 합성하기 위해, 프레임워크는 모든 워커 출력의 위치 임베딩을 공유된 포스트 브랜칭(post-branching) 위치 $n$ 으로 재정렬합니다. 구체적으로, 워커 출력의 $r$ 번째 토큰을 RoPE 회전 연산자를 사용하여 위치 $n+r$ 로 재인코딩함으로써, 모든 브랜치가 직렬화된 시퀀스가 아닌 단일 분기점으로부터의 병렬적 연속으로 보이도록 보장합니다.
캐시 매퍼 (Cache Mapper):
독립적으로 생성된 캐시를 보정하기 위해, 학습 가능한 다층 퍼셉트론(MLP)이 워커별 메타데이터(출력 길이 및 총 워커 수)를 입력받아 아핀 계수(affine coefficients)를 매핑합니다. 이 계수들은 키와 값( $\hat{K}, \hat{V}$ )에 요소별 변환을 적용하여, 잠재 상태를 순차적 컨텍스트에 더 가깝게 근사하도록 조정합니다.
합성기 LoRA 어댑터 (Synthesizer LoRA Adapter):
비순차적이고 다중 브랜치인 캐시 인터페이스를 모델이 해석하고 추론할 수 있도록 돕기 위해 합성기 측면에 저차원 적응(LoRA) 모듈을 학습시킵니다. 이 어댑터는 합성 시에만 활성화되며, 워커의 실행 과정에는 영향을 주지 않습니다.

2.2 학습 전략

프레임워크는 상호 보완적인 능력을 보존하기 위해 체크포인트를 사후에 병합하는 두 가지 트랙의 포스트 트레이닝(post-training) 방식을 사용하여 학습됩니다.

트랙 1: 병렬 컨텍스트에 대한 일반적 적응:
- 지속적 사전 학습 (Continued Pre-training): 대화 턴이 직렬화된 히스토리가 아닌 병렬 캐시로 인코딩된 대규모 다회차 대화 데이터(예: WildChat, UltraChat)를 사용하여 아키텍처 워밍업을 수행합니다.
- 지도 미세 조정 (SFT): 자연스럽게 분해 가능한 입력(예: 도구 사용 궤적, 퓨샷 예시, 다중 문서 QA)을 사용하여 모델이 병렬 브랜치 간의 정보를 능동적으로 합성하도록 학습시킵니다.
트랙 2: 텍스트 기반 합성으로부터의 증류 (Distillation):
복잡한 추론 동작을 포착하기 위해, 저자들은 표준 텍스트 직렬화 파이프라인(BrowseComp 사용)으로부터 궤적을 증류합니다. 합성기가 워커 출력을 추론하고 비교하는 고품질 합성 궤적을 캐시 기반 형식으로 변환하여, 모델이 병렬 에이전트 궤적에 대해 고차원적인 추론과 판단을 수행하도록 학습시킵니다.

3. 주요 기여

직접적 잠재 공간 인터페이스: 합성기가 텍キスト 직렬화 병목 현상을 우회하여 병렬 에이전트로부터 KV 캐시를 직접 소비하는 새로운 인터페이스를 제안합니다.
보정 메커니즘: 분리된 병렬 캐시를 합성기를 위한 일관된 컨텍스트로 정렬하기 위해 캐시 매퍼와 위치 재인코딩을 도입합니다.
학습 패러다임: 효과적인 병렬 합성을 위해서는 단순한 추론 시 캐시 재사용이 아닌, 특정 포스트 트레이닝(일반적 적응 및 추론 증류 모두 포함)이 필수적임을 입증합니다.
플러그 앤 플레이 디자인: 워커 에이전트를 수정하지 않고도 기존 에이전트 워크플로우에 통합할 수 있는 어댑터 형태로 설계되었습니다.

4. 실험 결과

저자들은 수학적 추론(AIME, GSM8K), 과학 QA(GPQA, MedQA), 코드 생성(HumanEval, MBPP), 다중 에이전트 벤치마크(GAIA, MARBLE)를 포함한 9개의 다운스트림 데이터셋에 대해 Parallel-Synthesis를 평가했습니다.

성능: Parallel-Synthesis는 9개 데이터셋 중 7개에서 표준 텍스트 기반 합성 성능과 대등하거나 이를 능가했습니다. 특히 추론 집약적 작업(예: AIME 2025, GPQA, MARBLE)에서 상당한 이득을 얻었으며, 이는 직접적인 잠재 상태 합성이 텍스트보다 더 풍부한 추론 흔적을 보존함을 시사합니다. 증거 중심 작업(예: GAIA, MBPP)에서도 대등한 성능을 보였습니다.
효율성: 워커 출력의 재-프리필(re-prefill)을 피함으로써, Parallel-Synthesis는 텍스트 기반 합성 대비 첫 토큰 생성 시간(TTFT)을 2.5배에서 11배까지 단축했습니다.
추론 능력: 이 방법은 대부분의 데이터셋에서 단순 다수결 투표(majority voting) 베이스라인보다 우수한 성능을 보였으며, 이는 모델이 단순히 최종 답변을 집계하는 것이 아니라 중간 추론 단계와 증거의 품질을 활용하고 있음을 나타냅니다.
절제 연구 (Ablation Studies):
- 트랙 1과 트랙 2의 체크포인트를 병합하는 것이 순차적 튜닝보다 더 나은 결과를 얻었으며, 이는 파괴적 망각을 방지합니다.
- 캐시 매퍼와 합성기 LoRA가 모두 필수적입니다. 하나라도 제거하면 성능이 저하됩니다.
- 전체 궤적 정보(도구 관찰 결과 포함)를 제공하는 것이 가장 높은 정확도를 보이지만 지연 시간이 발생하며, 최종 출력물은 최적의 트레이드오프를 제공합니다.

5. 의의 및 주장

본 논문은 Parallel-Synthesis가 직접적인 캐시 기반 합성이 더 네이티브하고 효율적인 에이전트 워크플로우를 위한 유망한 인터페이스임을 보여준다고 주장합니다. 결과는 다음을 시사합니다:

잠재 상태는 추론에 더 우수하다: 병렬 추론 흔적의 깊은 통합이 필요한 작업의 경우, 직접적인 캐시 소비가 텍스트 기반 합성과 대등하거나 더 나을 수 있습니다.
효율성은 내재적이다: 이 방법은 처리된 정보를 다시 인코딩할 필요를 없앰으로써 근본적으로 중복 계산을 줄입니다.
학습은 필수적이다: 추론 시 보정에 의존하는 RAG 스타일의 캐시 재사용 방식과 달리, 견고한 병렬 에이전트 합성을 위해서는 이질적인 브랜치 상태를 해석하고 집계하는 방법을 배우기 위한 명시적인 포스트 트레이닝이 필요합니다.

저자들은 Parallel-Synthesis가 아직 모든 복잡한 워크플로우에서 텍스트 통신을 완전히 대체할 수 있는 범용적인 도구는 아니지만, DAG 구조의 워크플로우를 더 네이티브하게 실행하고 병합하여 텍스트 직렬화의 오버헤드를 피할 수 있다는 강력한 증거를 제공한다고 결론지었습니다. 향-후 연구에서는 더 다양한 도구 사용 패턴과 분기 구조를 다루기 위해 더 넓은 범위의 에이전트 워크플로우 데이터로 포스트 트레이닝을 확장해야 할 것입니다.