Federated Inference for Heterogeneous LLM Communication and Collaboration

이 논문은 장치 간 데이터, 토큰, 모델 가중치 공유의 한계를 극복하고 개인 정보를 보호하면서 KV 캐시를 공유하는 새로운 '연방 정제 (FedRefine)' 프레임워크를 제안하여 이질적인 대규모 언어 모델 (LLM) 의 협업 추론을 위한 새로운 패러다임을 제시합니다.

핵심

이 논문은 **"작은 AI 들이 서로 손잡고 함께 일하면, 혼자서 일하는 큰 AI 보다 더 똑똑하고 빠를 수 있다"**는 새로운 아이디어를 제안합니다.

기존의 AI(거대 언어 모델) 는 클라우드에 있는 거대한 서버에서 작동해야만 성능이 좋았습니다. 하지만 스마트폰 같은 작은 기기에서는 성능이 떨어지거나, 모든 데이터를 서버로 보내면 사생활이 털리고 인터넷이 느려지는 문제가 있었습니다.

이 논문은 이를 해결하기 위해 **FedRefine(연방 정제)**이라는 새로운 시스템을 소개합니다. 이를 쉽게 이해할 수 있도록 몇 가지 비유로 설명해 드릴게요.

---

1. 문제 상황: 혼자서 vs. 무리 지어

• 기존 방식 (클라우드 의존): 작은 AI 가 질문을 받으면, 모든 내용을 인터넷을 통해 거대한 중앙 서버로 보냅니다. 서버가 답을 찾아 다시 보내주죠.
  • 비유: 집에서 요리할 재료가 부족해서, 모든 재료를 사서 요리사에게 보내고, 요리사가 다 만들어서 다시 배달받는 것과 같습니다. 시간이 많이 걸리고, 요리사 (서버) 가 재료를 다 알게 되어 사생활이 노출될 수 있습니다.
• 기존의 다른 시도 (텍스트 공유): 작은 AI 들끼리 서로 "내가 이렇게 생각했어"라고 말 (텍스트) 로 주고받으며 답을 고칩니다.
  • 비유: 친구들이 서로 "나는 이걸로 요리할 거야"라고 말로만 주고받으며 요리를 돕는 것입니다. 하지만 말을 주고받는 동안 요리가 늦어지고, 말만 들으면 요리사의 '생각 과정'을 온전히 전달받기 어렵습니다.

2. 해결책: FedRefine (연방 정제) - "생각의 초록"을 공유하자!

이 논문이 제안하는 핵심은 **"텍스트 (말) 가 아니라, AI 의 '생각 과정' 그 자체를 공유하자"**는 것입니다.

🧠 비유: "요리사의 메모장 (KV 캐시)"

AI 가 답을 만들 때, 단순히 단어를 나열하는 게 아니라 그 단어를 선택하기까지의 모든 맥락과 계산 과정을 '메모장 (KV 캐시)'에 적어둡니다.

• 기존 방식: "나는 파스타를 만들 거야"라고 말 (텍스트) 만 주고받음.
• FedRefine 방식: "파스타를 만들 때 소스를 어떻게 섞고, 면을 몇 분 삶았는지 적힌 메모장 전체를 공유함."

이 메모장 (KV 캐시) 을 공유하면, 상대방 AI 는 처음부터 다시 생각할 필요 없이, 이미 만들어진 '생각의 기초' 위에 바로 새로운 아이디어를 덧붙일 수 있습니다.

3. FedRefine 의 두 가지 핵심 기술

① C2C (Cache-to-Cache): "메모장 직접 전달"

• 상황: A 라는 AI 가 질문을 받았습니다. B 라는 AI 가 도와주고 싶다면, A 는 B 에게 "내 메모장을 봐"라고 합니다.
• 효과: B 는 A 의 메모장을 보고 바로 다음 단어를 예측할 수 있습니다. 다시 처음부터 읽을 필요가 없으니 속도가 매우 빠릅니다.
• 특이점: 서로 다른 모델 (예: 작은 모델과 큰 모델) 이라도 이 메모장을 번역기 (퓨저) 를 통해 이해할 수 있게 만들어서, 서로 다른 AI 들도 함께 일할 수 있습니다.

② 양방향 협력 (Bidirectional): "서로 돕기"

• 보통은 한쪽이 다른 쪽을 돕지만, FedRefine 은 서로가 서로의 메모장을 주고받으며 더 완벽하게 다듬습니다.
• 비유: 두 요리사가 서로의 레시피 노트를 번갈아 보며 "여기 소스를 더 넣으면 더 맛있겠다"라고 서로를 도와주며 요리를 완성하는 것입니다.

4. 사생활 보호는 어떻게? (재구성된 질문)

"메모장을 공유하면 내 질문 내용이 다 드러나지 않나요?"라고 걱정하실 수 있습니다.

• 해결책: AI 는 원래 질문을 그대로 보내지 않고, **의미는 같지만 표현을 바꾼 '재구성된 질문'**으로 메모장을 만듭니다.
• 비유: "내 비밀 비법을 알려줘"라고 직접 말하지 않고, "이런 재료로 이런 요리를 만들고 싶어"라고 돌려 말하며 메모장을 공유하는 것입니다. 서버나 다른 AI 는 원래 질문을 알 수 없지만, 답을 만드는 데 필요한 정보는 모두 전달됩니다.

5. 실험 결과: 얼마나 좋을까요?

논문의 실험 결과에 따르면:

• 정확도: 여러 AI 가 협력하면 혼자 일할 때보다 정확도가 20% 이상 높아졌습니다.
• 속도: 텍스트로 주고받는 방식보다 메모장 (KV 캐시) 을 공유하는 방식이 훨씬 빠릅니다. (텍스트 방식은 다시 처음부터 읽어야 하므로 시간이 오래 걸림)
• 사생활: 질문을 재구성해서 보내도 정확도는 거의 떨어지지 않았습니다.

6. 결론: 미래의 AI 는 '팀워크'

이 논문은 앞으로의 AI 가 거대한 서버 하나에 의존하는 것이 아니라, 각자 작은 기기 (스마트폰, 자동차 등) 에 있는 AI 들이 서로의 '생각 메모장'을 공유하며 협력하는 시대가 올 것이라고 말합니다.

• 핵심 메시지: "혼자서 모든 걸 다 하려고 애쓰지 말고, 서로의 '생각 과정'을 공유하며 함께 일하면 더 빠르고, 더 똑똑하며, 더 안전하게 문제를 해결할 수 있다."

이처럼 FedRefine은 AI 들이 서로의 머릿속 (메모장) 을 연결하여, 마치 하나의 거대한 슈퍼 AI 가 된 것처럼 작동하게 하는 새로운 패러다임입니다.

기술 요약

논문 요약: 이질적 LLM 을 위한 연방 추론 (Federated Inference) 프레임워크

이 논문은 엣지 디바이스에 탑재된 소형 언어 모델 (LLM) 의 성능 한계를 극복하고, 여러 LLM 간의 협업을 통해 프라이버시를 보호하면서 고품질의 추론을 가능하게 하는 새로운 프레임워크인 **'FedRefine (Federated Refinement)'**을 제안합니다.

1. 문제 정의 (Problem)

기존의 엣지 디바이스 기반 LLM 은 클라우드 기반 대규모 모델에 비해 추론 정확도와 속도가 낮습니다. 이를 해결하기 위해 클라우드에 모든 데이터를 전송하는 방식은 대역폭과 프라이버시 문제로 확장성이 떨어집니다. 반면, 기존 연방 학습 (Federated Learning) 의 아이디어를 추론에 적용하려는 시도에서는 다음과 같은 주요 난제가 존재합니다.

• 지연 시간 (Latency): 자동회귀 (Autoregressive) 방식의 LLM 은 이전 토큰을 모두 디코딩해야 다음 토큰을 생성합니다. 디바이스 간 텍스트 (Token) 를 주고받는 방식 (T2T) 은 매번 키 - 밸류 (KV) 캐시를 다시 빌드해야 하므로 심각한 지연 시간을 유발합니다.
• 프라이버시: 입력/출력 토큰은 인간이 해석 가능한 형태로, 민감한 사용자 정보를 유출할 수 있습니다.
• 이질성 (Heterogeneity): 서로 다른 아키텍처를 가진 LLM 간에는 의미론적 정보나 지식을 교환하기 어렵습니다.

2. 방법론 (Methodology)

저자들은 FedRefine이라는 새로운 연방 추론 프레임워크를 제안하며, 이는 두 가지 핵심 아이디어에 기반합니다.

• Self-Refine 에서 Cache-to-Cache (C2C) 로:

  • 기존 'Self-Refine'은 단일 모델이 자신의 출력을 반복적으로 개선하는 방식이지만, 내부 지식에 한계가 있습니다.
  • 이를 극복하기 위해 C2C 통신을 도입합니다. 송신기 (Transmitter) LLM 의 KV 캐시를 수신기 (Receiver) LLM 이 직접 활용하여 추론을 수행합니다.
  • 이를 위해 사전 훈련된 Fuser(퓨저) 네트워크를 사용하여 송신기 모델의 KV 캐시를 수신기 모델의 아키텍처에 맞게 매핑 (Projection) 합니다.
  • 장점: 텍스트 토큰 대신 KV 캐시를 공유하므로, 프리필 (Pre-fill) 지연 시간을 제거하고 대량의 토큰을 생성하면서도 원본 데이터를 로컬에 유지하여 프라이버시를 보호할 수 있습니다.

• 단방향 C2C 에서 양방향 Co-C2C 로:

  • 초기 C2C 는 한 방향으로만 정보를 전달했으나, 저자들은 **양방향 협업 (Co-C2C)**을 제안합니다.
  • 두 모델 간에 서로 다른 퓨저 (Fuser12, Fuser21) 를 훈련시켜 상호 간에 KV 캐시를 교환하고 상호 보완적으로 추론을 정제 (Refine) 합니다.
  • 이는 공정한 협업 패러다임을 조성하며, 각 디바이스가 송신자와 수신자의 역할을 동시에 수행할 수 있게 합니다.

• FedRefine 프레임워크:

  • 이질적인 다중 LLM 시스템에서 모든 가능한 쌍 (Pair) 에 대해 사전 훈련된 퓨저를 서버가 관리합니다.
  • 각 LLM 은 자신의 모델 또는 다른 퓨저에서 선택된 데이터를 게팅 (Gating) 네트워크를 통해 선택합니다.
  • 프라이버시 보호: 모든 LLM 은 원본 입력 대신 재구성된 (Rephrased) 입력 토큰을 사용하여 추론을 시작하므로, 의도나 민감한 정보가 유출되지 않습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 협업 패러다임 제안: 텍스트 토큰 교환이 아닌 **KV 캐시 교환 (C2C)**을 기반으로 한 연방 추론 프레임워크인 FedRefine 을 최초로 제안했습니다.
2. 이질성 해결: 서로 다른 아키텍처를 가진 LLM 간에도 퓨저 네트워크를 통해 효율적인 지식 전이가 가능하도록 설계했습니다.
3. 프라이버시와 성능의 균형: 원본 데이터를 공유하지 않으면서도 (Rephrased input), KV 캐시 공유를 통해 높은 정확도를 유지하는 방법을 제시했습니다.
4. 양방향 상호 정제: 단방향 통신을 넘어, 상호 간의 KV 캐시를 활용한 양방향 협업 (Co-C2C) 을 통해 시스템 전체의 추론 성능을 극대화하는 방안을 제시했습니다.

4. 실험 결과 (Results)

Qwen 및 Llama 시리즈의 다양한 이질적 모델을 사용하여 실험한 결과는 다음과 같습니다.

• 정확도 향상: 연방 추론은 단일 모델 추론보다 정확도가 크게 향상되었습니다. 4 개의 공유 모델이 참여할 경우, 비개인화 KV 협업 모델은 독립 추론 대비 **21.2%**의 정확도 향상을 보였습니다.
• 프라이버시 보호 효과: 재구성된 (Rephrased) 입력을 사용한 프라이버시 보호 KV 모델은 비개인화 모델 대비 정확도가 3% 만 감소하여, 프라이버시 보호가 협업 성능에 큰 타격을 주지 않음을 입증했습니다.
• C2C vs T2T 비교:
  • 정확도: C2C 방식이 텍스트 교환 (T2T) 방식보다 약 15% 더 높은 정확도를 기록했습니다.
  • 지연 시간: T2T 방식은 토큰 생성 시 매번 KV 캐시를 재구축해야 하므로 지연 시간이 매우 길었습니다. 반면, C2C 는 KV 캐시를 직접 전달하므로 전체 지연 시간이 T2T 보다 현저히 낮았습니다.
  • 통신 부하: C2C 는 토큰당 약 88KB 의 데이터를 전송해야 하는 반면, T2T 는 16 바이트만 전송합니다. 이는 C2C 가 높은 대역폭을 요구하지만, 지연 시간 절감 측면에서 효율적임을 의미합니다.

5. 의의 및 향후 연구 방향 (Significance & Future Trends)

• 의의: 이 연구는 엣지 환경에서 LLM 의 추론 능력을 극대화하면서도 프라이버시와 이질성을 해결할 수 있는 새로운 'LLM 네이티브 통신 (LLM-native communication)' 패러다임을 제시했습니다.
• 향후 연구 방향:
  • 반복적 로컬 정제: 캐시 또는 토큰 통신을 활용한 반복적 추론 및 정제 메커니즘 설계.
  • 지속적인 글로벌 연방 반복: 단일 모델의 정제가 협업자들에게 미치는 영향을 활용한 시스템 전체의 지속적 정제.
  • 멀티모달 LLM 을 위한 캐시 통신: 텍스트를 넘어 멀티모달 모델에 적합한 캐시 통신 전략 개발.
  • 연방 추론을 위한 프롬프트 엔지니어링: 프라이버시를 보호하면서 모델 간 역할을 정의하고 상호작용을 조율하는 프롬프트 기법 연구.

이 논문은 제한된 리소스를 가진 엣지 디바이스들이 협력하여 클라우드 수준의 성능을 달성할 수 있는 실질적인 기술적 토대를 마련했다는 점에서 의미가 큽니다.