기술 요약: ProToken – 연합 대규모 언어 모델을 위한 토큰 수준 기여도 추적

1. 문제 정의

연합 학습(Federated Learning, FL)은 원시 데이터를 중앙 집중화하지 않고도 분산된 프라이빗 데이터 소스를 통해 대규모 언어 모델(LLM)의 협업 학습을 가능하게 합니다. 이는 프라이버시를 보존하지만, 모델의 출처(provenance)에 관한 "블랙박스" 시나리오를 생성합니다. 글로벌 연합 LLM이 특정 응답을 생성할 때, 어떤 클라이언트(들)가 해당 출력에 기여했는지 불분명합니다. 이러한 기여도 추적의 부재는 다음과 같은 핵심적인 시스템 적용을 저해합니다:

• 디버깅: 어떤 클라이언트가 문제가 되는 동작이나 오염된 데이터를 도입했는지 식별.
• 신뢰성 검증: 글로벌 모델이 의도된 기여를 반영하고 있는지 확인.
• 공정한 보상 배분: 실제 기여도에 기반한 인센티브 할당.
• 악의적 클라이언트 식별: 백도어나 적대적 패턴을 주입하는 참여자 탐지.

중앙 집중형 모델을 위한 기존 해석 가능성 기술(예: 그래디언트 통합, 섭동 분석)은 원시 학습 데이터와 단일 모델 아키텍처에 대한 접근을 가정하기 때문에 적용할 수 없습니다. 또한, 표준 FL 디버깅 방법은 이산적인 출력을 가진 분류 작업용으로 설계되어, 가변 길이의 자기 회귀적(autoregressive) 특성을 가진 LLM 생성 문제를 해결하지 못합니다. 핵심 과제는 생성된 토큰이 특정 클라이언트의 연합 학습 데이터에서 기인한 것인지, 아니면 모델의 기존 사전 학습된 지식에서 기인한 것인지를 구별하는 것입니다.

2. 방법론: ProToken

ProToken은 FL의 프라이버시 제약 조건(즉, 원시 데이터가 아닌 모델 업데이트, 활성화 및 그래디언트만을 사용하여 작동)을 엄격히 준수하면서, 연합 LLM의 토큰 수준 생성을 특정 클라이언트에 귀속시키기 위해 설계된 출처 추적 방법론입니다.

핵심 통찰

ProToken은 추적을 용이하고 정확하게 만들기 위해 세 가지 구조적 통찰을 활용합니다:

1. 선형 집계(Linear Aggregation): FL 집계 전략(예: FedAvg, FedProx)은 파라미터 수준에서 선형적입니다. 이를 통해 글로벌 모델의 순전파 계산을 레이어별 클라이언트별 가중 합으로 수학적으로 분해할 수 있습니다.
2. 레이어 전문화(Layer Specialization): 트랜스포머 아키텍처는 태스크 특화 신호를 후반 블록(특히 셀프 어텐션 출력 프로젝션 및 최종 피드 포워드 레이어)에 집중시킵니다. 초기 레이어는 일반적인 언어적 특징을 포착하는 반면, 후기 레이어는 최종 출력에 영향을 미치는 구체적인 지식을 인코딩합니다.
3. 그래디언트 기반 관련성(Gradient-Based Relevance): 모든 뉴런이 특정 토큰을 생성하는 데 관련이 있는 것은 아닙니다. 그래디endium 기반 가중치는 무관한 뉴런 활성화를 필터링하여, 토큰 예측에 직접적인 영향을 미치는 뉴로에만 추적을 집중시킵니다.

기술적 워크플로

추적 프로세스는 응답의 자기 회귀적 생성 중에 다음과 같이 작동합니다:

1. 레이어 선택: 모든 파라미터를 추적하는 것은 계산적으로 매우 부담스럽기 때문에, ProToken은 전략적인 레이어 서브셋인 마지막 $N$개 트랜스포머 블록 내의 셀프 어텐션 메커니즘의 출력 프로젝션 레이어와 최종 MLP 레이어로 분석을 제한합니다.
2. 토큰별 귀속: 각 생성 토큰 $x_j$에 대해, 시스템은 각 클라이언트에 대한 출처 점수를 계산합니다.
   • 글로벌 모델은 입력값을 처리하여 선택된 레이어에 대한 은닉 상태($h^\ell_G$)와 그래디언트($g^\ell_{x_j}$)를 생성합니다.
   • 각 클라이언트 $i$에 대해, 시스템은 글로벌 순전파의 입력을 유지한 채 클라이언트의 특정 가중치가 사용되었을 경우의 레이어 출력이 어떻게 될지($h^\ell_i$)를 시뮬레이션합니다.
   • 토큰에 대한 클라이언트의 기여 점수는 클라이언트의 가설적 활성화와 글로벌 그래디언트의 내적으로 계산됩니다:
     $$P^\ell_{i, x_j} = \langle h^\ell_i, g^\ell_{x_j} \rangle$$
   • 이 점수는 선택된 레이어 전체에 걸쳐 합산되어 토큰별 점수를 생성하며, 생성된 전체 시퀀스에 걸쳐 누적되어 최종 시퀀스 수준의 귀속 점수를 산출합니다.
3. 정규화: 점수는 소프트맥스(softmax)를 통해 정규화되어 가장 가능성 높은 출처로서 클라이언트들에 대한 확률 분포를 생성합니다.

3. 평가 프레ما워크

LLM 출처의 정답(ground truth)을 확보하기 어려운 문제(사전 학습된 지식과 연합 기여를 구분하는 문제)를 해결하기 위해, 저자들은 **백도어 주입(backdoor injection)**을 사용하는 검증 가능한 평가 프레임워크를 구축했습니다:

• 정답 생성: 지정된 "악의적" 클라이언트의 로컬 학습 데이터에 뚜렷한 트리거-응답 쌍(예: 특정 트리거 문구가 고정된 "센티넬" 거절 응답을 유도함)을 주입했습니다.
• 평가 지표: 모델 동작이 특정 클라이언트의 기여에서 기인했다는 명확한 정답을 바탕으로, 센티넬 응답이 생성될 때 트리거를 포함한 클라이언트를 식별하는 시스템의 능력을 통해 귀속 정확도를 측정합니다.

4. 실험 결과

저자들은 네 가지 LLM 아키텍처(Gemma, SmolLM, Llama, Qwen)와 네 가지 도메인(의료, 금융, 수학, 코딩)을 포함하는 16가지 구성에 대해 ProToken을 평가했습니다.

• 귀속 정확도: ProToken은 모든 구성에서 평균 **98.62%**의 귀속 정확도를 달밀했습니다. 시스템은 기여하는 클라이언트와 기여하지 않는 클라이언트 사이의 명확한 이진 분리를 보여주며 높은 신뢰도로 책임 클라이언트를 식별했습니다.
• 확장성: 클라이언트 수를 6개에서 55개로 늘린 확장성 테스트(9.2배 증가)에서도 ProToken은 높은 정확도(>92%)를 유지하여 대규모 연합 배포에서의 견고함을 입증했습니다.
• 그래디언트 가중치의 영향: 절제 연구(ablation study) 결과, 그래디언트 기반 관련성 가중치가 매우 중요하다는 것이 밝혀졌습니다. 그래디언트 가중치를 비활성화하면 평균 정확도가 66.34%에서 35.71%로 감소하여, 무관한 뉴런을 필터링하는 것이 신뢰할 수 있는 귀속을 위해 필수적임을 확인했습니다.
• 계산적 실행 가능성: 마지막 일부 트랜스포머 블록만을 모니터링함으로써, ProToken은 모든 파라미터를 추적하는 것에 비해 계산 오버헤드를 크게 줄였습니다. 100개 토큰 응답에 대해 레이어 깊이에 따라 약 1.1초에서 1.8초 정도 소요되어 실시간 추적이 가능함을 보여주었습니다.

5. 의의 및 주장

본 논문은 Pro-Token을 연합 LLM을 위한 최초의 토큰 수준 출처 추적 방법이라고 주장합니다. 그 의의는 다음과 같습니다:

• 귀속 격차 해결: 데이터가 중앙 집중화되지 않는 연방 생성 모델에서 출력을 추적하는 근본적인 과제를 해결합니다.
• 프라이버시 보존: 모델 업데이트와 그래디언트 상에서만 작동하여 FL의 프라이버시 보장 기능을 유지합니다.
• 실용적 생존 능력: 다양한 아키텍처와 도메인에서 검증된 것처럼 계산적으로 실행 가능하며 확장성이 뛰어납니다.
• 신뢰 구축: 협업 LLM 학습에서 디버깅, 악의적 참여자 식별, 공정한 보상 배분을 위한 필요한 도구를 제공함으로써, 해석 가능하고 책임 있는 연합 LLM 시스템을 위한 토대를 마련합니다.

저자들은 백도어 주입이 평가를 위한 정답 생성을 위해 사용되었지만, 방법론 자체는 일반적인 귀속을 위해 설계되었으며 공격이나 방어 전략이 아님을 강조합니다. 결과적으로 Pro-Token은 신뢰할 수 있는 연합 LLM 배포를 위한 기초적인 단계임을 입증합니다.