Federated Inference: Toward Privacy-Preserving Collaborative and Incentivized Model Serving

이 논문은 데이터와 모델 파라미터를 공유하지 않고 독립적으로 훈련된 모델들이 추론 단계에서 협력하는 '연합 추론 (Federated Inference)'을 새로운 협력 패러다임으로 정의하고, 그 실현을 위한 핵심 요구사항과 시스템적 설계 trade-off 를 분석하며 실용적인 확장 가능한 시스템 구축을 위한 방향성을 제시합니다.

핵심

1. 핵심 개념: "비밀을 지키며 함께 문제를 푸는 팀"

기존의 방식 (연방 학습, Federated Learning):
마치 여러 학교가 각자 가진 학생들의 성적표 (데이터) 를 모아서 함께 새로운 선생님 (모델) 을 훈련시키는 것과 같습니다. 하지만 이 논문은 "이미 각자 훌륭한 선생님들이 다 훈련을 마쳤는데, 다시 훈련할 필요는 없지 않나?"라고 질문합니다.

이 논문의 방식 (연방 추론, Federated Inference):
각자 이미 훈련을 마친 **독립적인 선생님들 (AI 모델)**이 모여서, 한 명의 학생 (사용자) 이 질문을 했을 때 함께 답을 찾아주는 것입니다.

• 핵심 규칙: 선생님들은 서로의 **비밀 노트 (모델 정보)**를 보여주지 않고, 학생의 **질문 내용 (데이터)**도 공개하지 않은 채로 답을 냅니다.
• 목표: 각자 혼자 답할 때보다 더 정확하고 좋은 답을 내되, 서로의 비밀은 절대 지키는 것.

비유:
세 명의 명수 (수학, 과학, 역사) 가 있습니다.

• A: 수학 문제만 잘 풉니다.
• B: 과학 문제만 잘 풉니다.
• C: 역사 문제만 잘 풉니다.

누군가 "복합적인 문제"를 물어보면, 세 명은 서로에게 "내 노트 보여줘"라고 하지 않고, 각자 자신의 영역에서 답을 내어 모아서 최종 정답을 만듭니다. 이때 서로의 비법 (모델) 과 질문 내용 (데이터) 은 철저히 암호화되어 보호됩니다.

---

2. 왜 필요한가요? (현실적인 문제)

많은 기업이나 기관은 이미 훌륭한 AI 모델을 가지고 있지만, 자사의 데이터를 남에게 보여주기 싫고, 모델의 비밀을 공유하고 싶지 않습니다.

• 병원 A와 병원 B는 서로의 환자 기록을 공유할 수 없습니다.
• 하지만 두 병원 모두 "이 환자는 어떤 병일까?"를 더 정확히 진단하고 싶어 합니다.

이때 연방 추론은 두 병원이 서로의 환자 기록이나 진단 로직을 공개하지 않고도, 함께 진단을 내릴 수 있게 해주는 기술입니다.

---

3. 연구자들이 만든 시스템: 'FedSEI'

저자들은 이 아이디어를 실제로 작동하게 하기 위해 FedSEI라는 시스템을 만들었습니다. 이 시스템은 세 가지 핵심 장치를 사용합니다.

1. 비밀번호 상자 (SMPC - 안전한 다자간 계산):
   • 데이터를 자물쇠로 잠근 채로 계산합니다. 마치 "비밀번호가 걸린 상자 안에서만 계산이 이루어져서, 상자를 여는 사람도 내용을 알 수 없는" 상태입니다.
2. 합의 투표 (Ensemble Inference):
   • 여러 모델이 각자 답을 내면, 이를 합쳐서 최종 결정을 내립니다. (예: 3 명이 투표하면 다수결로 결정)
3. 보상 시스템 (블록체인 & 스마트 계약):
   • "너는 열심히 일했으니 보상을 줄게"라고 말만 하는 게 아니라, 블록체인을 이용해 자동으로 보상을 줍니다.
   • 문제: 누가 얼마나 잘했는지 알 수 없는데 (정답이 없는 상태), 어떻게 공평하게 보상을 줄까요?
   • 해결: 저자들은 "정답이 없으니, 각자의 답이 얼마나 일관되고 신중한지"를 기준으로 보상을 주려고 시도했습니다. 하지만 실험 결과, 데이터가 너무 다르면 (비슷하지 않으면) 공정한 보상을 주는 게 정말 어렵다는 것을 발견했습니다.

---

4. 실험 결과: "좋지만, 아직 넘어야 할 산이 많다"

저자들은 이 시스템을 실제로 돌려보며 몇 가지 중요한 사실을 발견했습니다.

• 속도 문제 (가장 큰 걸림돌):

  • 비밀을 지키면서 계산하려면, 일반적인 계산보다 훨씬 느립니다. (약 50 배~200 배 느림)
  • 비유: 평범한 차 (일반 AI) 는 1 초에 도착하지만, 비밀을 지키는 차 (연방 추론) 는 보안 검색을 하느라 1 분 이상 걸립니다.
  • 거리 문제: 컴퓨터들이 서로 멀리 떨어져 있을수록 (예: 한국과 스웨덴), 통신 지연으로 인해 답을 얻는 데 몇 분에서 몇 시간이 걸릴 수도 있습니다.

• 협력의 효과 (데이터가 다르면?):

  • 각자의 데이터가 비슷하면 (예: 모두 서울 사람 데이터) 함께하면 정말 잘 됩니다.
  • 하지만 데이터가 너무 다르면 (예: 서울 사람 vs 제주도 사람 vs 농촌 사람), 오히려 혼합해서 답을 내는 게 혼자 하는 것보다 더 나빠질 수도 있습니다.

• 보상의 딜레마:

  • 누가 더 잘했는지 알 수 없는 상황에서, "내가 더 잘했어!"라고 주장하는 사람을 막거나 공평하게 보상하는 것은 매우 어렵습니다.

---

5. 결론: 이 연구가 우리에게 주는 메시지

이 논문은 **"비밀을 지키면서 AI 가 협력하는 세상"**이 가능하다는 것을 증명했지만, 동시에 현실적인 장벽도 명확히 보여줍니다.

• 가능성: 기업과 기관이 서로의 데이터를 공유하지 않고도 AI 를 함께 쓸 수 있는 길이 열렸습니다.
• 과제:
  1. 속도 개선: 비밀을 지키면서도 빠르게 계산하는 방법을 찾아야 합니다.
  2. 공정한 보상: 정답을 모를 때 누가 얼마나 기여했는지 알 수 있게 하는 새로운 규칙이 필요합니다.
  3. 거리 문제: 전 세계에 흩어진 컴퓨터들끼리도 빠르게 소통할 수 있는 네트워크 기술이 필요합니다.

한 줄 요약:

"서로의 비밀을 지키면서 함께 일하는 'AI 팀'을 만들 수 있지만, 아직은 너무 느리고 보상을 나누는 게 어렵다는 사실을 밝혀낸, 현실적인 청사진입니다."

이 기술이 발전하면, 병원, 은행, 정부 기관들이 서로의 민감한 데이터를 건드리지 않고도 더 똑똑한 AI 서비스를 함께 제공할 수 있는 미래가 열릴 것입니다.

기술 요약

이 논문은 **연방 추론 (Federated Inference, FI)**을 새로운 협력 패러다임으로 정의하고, 이를 구현하기 위한 참조 아키텍처인 **FedSEI (Federated Secure Ensemble Inference)**를 제안하며, 프라이버시 보호, 협력적 유틸리티, 인센티브 정렬 간의 시스템적 트레이드오프를 실증적으로 분석한 연구입니다.

주요 내용은 다음과 같습니다.

1. 문제 정의 (Problem)

기존의 **연방 학습 (Federated Learning, FL)**은 모델 훈련 단계에서 데이터를 공유하지 않고 협력하는 데 초점을 맞추고 있습니다. 그러나 실제 산업 환경에서는 이미 훈련된 독점 모델들이 존재하며, 이를 다시 훈련 (retraining) 하는 것은 비용, 규제, 지식재산권 (IP) 문제 등으로 인해 비현실적일 수 있습니다. 따라서 추론 (Inference) 단계에서의 협력이 중요한 과제로 대두되었습니다.

하지만 추론 단계의 협력은 다음과 같은 고유한 제약과 도전에 직면해 있습니다:

• 프라이버시 제약: 클라이언트의 입력 데이터, 각 소유자의 모델 파라미터, 그리고 중간 예측값이 모두 평문으로 노출되어서는 안 됩니다.
• 협력의 유틸리티: 단순히 모델을 합치는 것만으로는 성능 향상이 보장되지 않으며, 특히 데이터가 비동일 분포 (Non-IID) 일 때 ensemble 이 오히려 성능이 저하될 수 있습니다.
• 인센티브 정렬: 라벨 (Ground Truth) 이 없는 추론 환경에서 각 참여자의 기여도를 객관적으로 측정하고 보상하는 메커니즘이 부재합니다.

2. 방법론 (Methodology)

저자들은 이러한 문제를 해결하기 위해 FedSEI라는 참조 아키텍처를 설계하고 구현했습니다.

• 기술적 핵심:

  • SMPC (Secure Multi-Party Computation): 모델 파라미터와 입력 데이터를 가법 비밀 분할 (Additive Secret Sharing) 방식으로 분산하여, 평문 없이도 연산을 수행할 수 있도록 합니다. (CrypTen 프레임워크 사용)
  • Ensemble Inference: 여러 독립적으로 훈련된 모델의 보호된 예측 결과를 집계 (Aggregation) 하여 최종 예측을 생성합니다.
  • 블록체인 기반 인센티브: 이더리움 스마트 계약을 활용하여 'Commit-then-Reveal' 워크플로우를 구현합니다. 클라이언트가 수수료를 예치하고, 연산 완료 후 참여자들이 서명을 제출하면 보상이 자동 분배되도록 하여 신뢰 없는 환경에서의 정산 문제를 해결합니다.

• 시스템 아키텍처:

  • 모델 소유자 (Provider), 클라이언트 (Client), 연산 파티 (SMPC Parties) 로 구성되며, 중앙 집중형 조정자 없이 P2P 방식으로 작동합니다.

3. 주요 실험 결과 (Key Results)

저자들은 다양한 모델 아키텍처, 데이터 이질성, 네트워크 환경에서 FedSEI 를 평가하여 다음과 같은 통찰을 얻었습니다.

• 계산 및 통신 오버헤드 (Overhead):

  • SMPC 기반 추론은 일반 평문 추론에 비해 50 배~200 배 이상의 지연 시간 (Latency) 증가를 보입니다.
  • 특히 비선형 함수 (ReLU, Softmax 등) 의 안전한 계산과 비밀 분할의 집계 과정에서 발생하는 통신 오버헤드가 주요 병목 현상입니다.
  • 지리적으로 분산된 환경 (예: 대륙 간) 에서는 네트워크 지연이 전체 지연의 대부분을 차지하여 실시간 서비스 적용에 심각한 제약을 줍니다.

• Non-IID 데이터 하의 Ensemble 성능:

  • 데이터 분포가 균일한 경우 (IID) 에는 Soft Voting 등의 단순 집계 방식이 우수한 성능을 보입니다.
  • 그러나 심각한 Non-IID (레이블 편향) 환경에서는 단순 평균화가 오히려 개별 모델의 성능보다 떨어질 수 있습니다. (예: CIFAR-10 에서 $\alpha=0.05$ 조건 시, Soft Voting 이 단일 최우수 모델보다 정확도가 낮음)
  • 엔트로피 기반 가중치나 TTA(Test-Time Augmentation) 기반 가중치 등 동적 가중치 부여 방식이 일부 상황에서 도움이 되지만, 보편적인 해결책은 아닙니다.

• 라벨 없는 인센티브의 한계:

  • Ground Truth 라벨이 없는 상황에서 예측 신뢰도 (Confidence) 나 합의도 (Agreement) 를 기반으로 보상을 분배하는 방식은 공정성 (Fairness) 이 크게 저하됩니다.
  • 심각한 데이터 편향 하에서는 오히려 균등 분배 (Uniform Allocation) 보다 불공정한 결과를 초래할 수 있으며, 개별 모델의 기여도를 정확히 반영하는 것은 구조적으로 매우 어렵습니다.

4. 주요 기여 (Contributions)

1. 연방 추론 (FI) 설계 공간의 정립: FL 이나 기존 Ensemble 방법과 구별되는, 추론 단계 협력의 고유한 설계 축 (프라이버시 강도, 협력 유틸리티, 시스템 효율성) 을 정의했습니다.
2. FedSEI 참조 아키텍처 제안: 프라이버시 보호, 협력적 추론, 인센티브 정렬을 통합한 최초의 종단간 (End-to-End) 시스템 구현체를 공개했습니다.
3. 시스템 수준의 실증 분석: 프라이버시 보호가 추론 시스템의 성능, 지연 시간, 그리고 경제적 지속 가능성에 미치는 영향을 정량적으로 분석하여, FI 가 단순한 알고리즘 문제가 아닌 시스템 공학적 문제임을 증명했습니다.

5. 의의 및 시사점 (Significance)

이 연구는 프라이버시 보호 AI의 새로운 지평을 열었습니다.

• 실용적 제약의 명확화: SMPC 기반 협력 추론이 이론적으로 가능함에도 불구하고, 계산 비용과 네트워크 지연으로 인해 현재는 실시간 서비스 적용에 한계가 있음을 명확히 보여주었습니다.
• 새로운 연구 방향 제시: 단순한 모델 합집합을 넘어, Non-IID 데이터에 강건한 동적 집계 알고리즘 개발, 라벨 없는 환경에서의 공정한 인센티브 메커니즘 설계, 그리고 효율적인 SMPC 프로토콜 최적화 등이 향후 해결해야 할 핵심 과제로 제시되었습니다.
• LLM 시대의 적용 가능성: 대규모 언어 모델 (LLM) 의 직접적인 SMPC 실행은 어렵지만, 에이전트나 도구 호출 단계에서의 FI 적용 등 새로운 활용 가능성을 제시합니다.

결론적으로, 이 논문은 프라이버시 보호와 협력적 추론을 동시에 달성하기 위해서는 알고리즘적 개선뿐만 아니라 시스템 아키텍처, 네트워크 환경, 그리고 경제적 인센티브를 종합적으로 고려해야 함을 강조합니다.