Federated Foundation Language Model Post-Training Should Focus on Open-Source Models

기술 요약: 연합 파운데이션 언어 모델의 사후 학습은 오픈 모델에 집중해야 한다

문제 정의
본 논문은 파운데이션 언어 모델(FLM)의 사후 학습(post-training)에 연합 학습(Federated Learning, FL)을 적용하는 최신 관행을 다룹로다. FL은 개인 데이터를 중앙 집중화하지 않고도 다운스트림 태스크에 모델을 적응시키기 위한 분산형 패러다임을 제공하지만, 최근의 접근 방식들은 점차 블랙박스(black-box) 및 그레이박스(gray-box) 파운데이션 모델(예: 가중치와 아키텍처가 숨겨진 채 API로만 접근 가능한 모델)에 의존하고 있습니다. 저자들은 이러한 폐쇄형 모델을 사용하여 중앙 집중식 사후 학습 전략을 무분별하게 복제하는 것이 데이터 프라이버시, 클라이언트 자율성, 투명성이라는 FL의 핵심 원칙에 위배된다고 주장합니다. 핵심 문제는 폐쇄형 모델의 편의성과 성능이 FL의 근본적인 이점을 훼로하는 것을 정당화할 수 있는지 여부를 결정하는 것입니다.

방법론 및 프레임워크
본 논문은 경험적 실험보다는 개념적 및 분석적 프레임워크를 채택합니다. 방법론은 다음과 같습니다:

1. 모델 개방성 분류: 저자들은 접근성 및 라이선스에 따라 FLM을 네 가지 유형으로 분류합니다:
   • 오픈 소스(Open-Source): 허용적인 라이선스 하에 가중치, 소스 코드, 아키텍처 및 학습 데이터에 대한 전체 접근 권한을 가짐.
   • 오픈 웨이트(Open-Weight): 가중치와 아키텍처에 대한 전체 접근 권한은 있으나, 소스 코드나 학습 데이터는 없음 (종종 제한적인 라이선스 하에 있음).
   • 그레이박스(Gray-Box): API를 통한 부분적 접근이 가능하며, 베이스 모델은 고정된 상태로 유지되면서 제한적인 미세 조정(예: 어댑터 레이어 또는 소프트 프롬프트)을 허용함.
   • 블랙박스(Black-Box): 토큰 교환을 위한 API로 제한되며, 내부 파라미터, 아키텍처 또는 미세 조정 인터페이스에 대한 접근이 불가능함.
2. 비교 분석: 저자들은 이 네 가지 모델 유형을 FL의 세 가지 기둥인 프라이버시(데이터의 로컬 유지), 자율성(학습 및 사용에 대한 클라이언트 제어), 이질성(다양한 데이터 분포 수용)을 기준으로 체계적으로 평가합니다.
3. 보안 및 프라이의 감사: 본 논문은 네 가지 모델 카테고리에 걸친 다양한 사후 학습 방법(Full Fine-Tuning, LoRA, Prompt Tuning, RLHF)에 대해 공격 표면과 가용한 방어 메커니즘(예: 차분 프라이버시, 보안 집계, 동형 암호)을 분석합니다.
4. 의사결정 프레임워크: 로컬 리소스, 라이선스 요구 사항, 보안 요구 사항과 같은 특정 제약 조건에 따라 실무자가 적절한 모델 유형을 선택할 수 있도록 안내하는 의사결정 트리를 구축합니다.

주요 기여
본 논문의 다섯 가지 주요 기여는 다음과 같습니다:

1. 개방성 분류 체계(Taxonomy of Openness): 파운데이션 모델의 상세한 분류와 이들이 사후 학습 방법에 미치는 구체적인 영향을 제시하며, 모델의 개방성이 가용한 최적화 기술(예: 블랙박스 모델에서는 Full Fine-Tuning이 불가능함)을 결정한다는 점을 강조합니다.
2. 폐쇄형 모델에 대한 비판적 분석: FL에서 블랙박스 및 그레이박스 모델을 사용하는 것이 왜 문제가 되는지에 대해 엄격하게 논의합니다. 저자들은 제3자 API에 의존하는 것이 데이터 유출 위험(입력이 클라이언트를 떠나야 하므로)을 재도입하고 클라이언트의 자율성을 저해함을 입증합니다.
3. 오픈 모델에 대한 논거: 오픈 소스 및 오픈 웨이트 모델이 FL의 목표와 더 잘 부합한다는 구조화된 논거를 제시합니다. 이들은 강력한 프라이버시 메커니즘의 사용을 가능하게 하고, 학습 과정에 대한 포괄적인 제어를 허용하며, 매개변수 효율적 미세 조정(PEFT) 및 LoRA와 같은 광범위한 효율적 사후 학습 기술을 지원합니다.
4. 보안 및 프라이버시 분석: 특정 사후 학습 방법 및 모델 유형에 어떤 공격(포이즈닝, 멤버십 추론, 그래디언트 역전)이 관련이 있는지, 그리고 각 시나리오에서 클라이언트가 제어할 수 있는 방어책은 무엇인지에 대한 세밀한 평가를 제공합니다.
5. 실무 선택 가이드: 연구자와 실무자가 특정 운영 제약 및 프라이버시 요구 사항에 따라 적절한 모델 유형(오픈 vs 폐쇄형)을 선택할 수 있도록 돕는 의사결정 트리와 부수적인 가이드라인을 제공합니다.

결과 및 발견

• 호환성: 오픈 소스 및 오픈 웨이트 모델은 모든 사후 학습 방법(FFT, LoRA, RLHF, Prompt Tuning)과 완전히 호환되며 로컬 배포를 허용하여 데이터가 클라이언트를 절대 떠나지 않도록 보장합니다.
• 폐쇄형 모델의 한계: 블랙박스 모델은 사후 학습을 프롬프트 기반 방법(예: 소프트 프롬프트, 텍스트 그래디언트)으로 제한하며, 클라이언트가 데이터를 중앙 제공자에게 전송해야 하므로 FL의 "데이터는 로컬에 머문다"는 원칙을 근본적으로 위반합니다. 그레이박스 모델은 중간 단계의 대안을 제공하지만, 여전히 제공자가 관리하는 인프라에 의존합니다.
• 제어 vs 위험: 오픈 모델은 클라이언트의 공격 표면을 증가시키지만(클라이언트가 자체 방어 체계를 구현해야 함), 방어 체제에 대한 완전한 제어권을 부여합니다. 반대로, 폐쇄형 모델은 클라이언트의 공격 표면을 줄여주지만(제공자가 베이스 모델을 관리하므로), 기초 시스템의 보안을 검증하거나 제어할 수 있는 클라이언트의 능력을 제거합니다.
• 라이선스의 영향: "오픈 웨이트" 모델(Llama 3와 같은)에서 흔히 볼 수 있는 제한적인 라이선스는 가중치가 접근 가능하더라도 특정 연합 사용 사례와 충돌할 수 있는 사용 제한을 부과함으로써 클라이언트의 자율성을 저해할 수 있습니다.

의의 및 주장
본 논문은 블랙박스 모델을 연합 사후 학습에 채택하는 현재의 추세가 연합 학습의 목적을 훼손하는 전략적 미스얼라이먼트(misalignment)라고 주장합니다. 저자들은 연합 파운데이션 언어 모델의 사후 학습은 오픈 모델에 집중해야 한다고 단언합니다.

본 연구의 의의는 API 기반의 폐쇄형 모델의 편의성과 오픈 모델의 프라이버시/자율성 보장 사이의 트레이드오프를 평가하기 위한 비판적 시각을 커뮤니티에 제공하는 데 있습니다. 저자들은 자신의 작업을 연구자들이 정보에 입각한 결정을 내릴 수 있도록 돕는 "도구 상자"로 정의하며, 폐쇄형 모델이 중앙 집중식 환경에서는 장점(성능, 배포 용이성)이 있을지라도, FL의 프라이버시 보호 및 분산화된 목표에는 일반적으로 부적합하다고 주장합니다. 논문은 오픈 모델이 FL의 기본 선택지이며, 폐쇄형 모델은 리소스 제약이나 특정 라이선스 요구 사항으로 인해 절대적으로 필요한 경우에만 사용하는 차선책이어야 한다고 결론짓습니다.