FedQHD: Closed-Form Function-Space Federated Reinforcement Learning

친구들이 함께 복잡한 비디오 게임의 플레이 방법을 배우려고 노력한다고 상상해 보세요. 그들은 모두 고유한 컨트롤러(서로 다른 하드웨어) 를 가지고 있으며, 개인정보 보호 규정이나 느린 인터넷 때문에 실제 게임 플레이 영상(원시 데이터) 을 공유할 수 없습니다. 대신 그들은 게임에서 더 빨리 실력을 향상시키기 위해 배운 내용을 공유하고 싶어 합니다.

이것이 **연방 강화 학습 (Federated Reinforcement Learning)**이 해결하려는 문제입니다. 하지만 함정이 하나 있습니다. 만약 모두가 다르게 학습한다면, 단순히 그들의 '뇌 설정' (두 가지 다른 레시피를 섞는 것과 유사) 을 평균 내는 것은 종종 아무에게도 작동하지 않는 엉망진창을 초래합니다.

이 논문은 이러한 혼란을 피하면서 친구들이 협력할 수 있는 새로운 방법인 FedQHD를 소개합니다. 간단한 비유를 사용하여 그 작동 원리는 다음과 같습니다:

1. 문제: 사과와 오렌지를 섞기

대부분의 기존 방법 (FedAvg 라고 함) 은 서버가 모든 사람의 신경망 설정을 평균 내려고 시도합니다.

• 문제점: 친구 A 가 '파란색' 뇌를 사용하고 친구 B 가 '빨간색' 뇌를 사용한다면, 설정을 평균내는 것은 파란색과 빨간색 물감을 섞어 보라색을 얻으려다가, 친구 C 는 초록색 물감이 필요하다는 사실을 깨닫는 것과 같습니다. 내부 구조가 일치하지 않기 때문에 수학적으로 무너집니다.
• 구식 해결책: 일부 방법은 '학생'들이 일치할 때까지 '선생님'이 반복적으로 퀴즈를 내게 함으로써 그들을 강제로 동의하게 하려 합니다. 이는 매일 한 장씩 종이를 채점하는 선생님과 같이 매우 느립니다.

2. 해결책: '보편적 번역기' (초차원 컴퓨팅)

FedQHD 는 모두에게 보편적 번역기(초차원 인코더라고 함) 를 제공함으로써 게임을 바꿉니다.

• 작동 원리: 복잡하고 messy 한 내부 규칙을 학습하는 대신, 모두가 게임 상태 (화면) 를 거대한 고정된 무작위 숫자 목록 ('초벡터') 으로 번역합니다.
• 마법: 게임 상태가 이 목록으로 번역되면, 최선의 움직임을 찾는 것은 단순한 선형 수학 문제(점들을 관통하는 직선을 그리는 것과 유사) 가 됩니다.
• 도움 되는 이유: 수학이 이제 직선이 되었기 때문에, 아무것도 깨뜨리지 않고 결과를 완벽하게 평균낼 수 있습니다. 이는 서로의 모국어와 상관없이 '왼쪽'이 항상 '왼쪽'을 의미하는 특정 방언으로 말하기로 합의하는 것과 같습니다.

3. 두 가지 시나리오

시나리오 A: 모두가 동일한 번역기를 사용함 (동질적)

모든 친구가 정확히 동일한 번역기를 사용한다면, 서버는 단순히 그들의 '최선의 움직임' 목록을 평균냅니다.

• 결과: 이는 즉각적이고 완벽합니다. 복잡한 오고가는 계산을 필요로 하지 않기 때문에 훨씬 빠른 구식 'FedAvg' 방법과 정확히 같습니다. 이는 '폐형 (closed-form)' 솔루션으로, 추측 없이 하나의 간단한 공식으로 답을 얻는 것을 의미합니다.

시나리오 B: 모두가 서로 다른 번역기를 사용함 (이질적)

FedQHD 가 빛을 발하는 부분입니다. 친구 A 의 번역기가 1,000 개의 숫자를 사용하고, 친구 B 의 번역기가 5,000 개의 숫자를 사용한다면 어떨까요?

• '앵커' 전략: 서버는 '절벽에서 떨어지는 자동차'나 '균형을 잡는 막대'와 같은 특정 게임 상황 집합 (앵커라고 함) 을 선택합니다.
• 선생님: 서버는 모든 친구에게 "이 특정 상황에서 당신은 무엇을 하겠습니까?"라고 묻고, 그들의 답변을 평균내어 글로벌 선생님을 만듭니다.
• '원샷' 번역: 길고 지루한 훈련 세션 대신, 각 친구는 이 글로벌 선생님을 가져와 **릿지 회귀 (Ridge Regression)**라고 불리는 단일하고 빠른 수학 트릭을 사용하여 선생님의 조언을 자신의 특정 번역기 형식으로 번역합니다.
• 비유: 요리사 (서버) 가 모든 사람의 수프를 맛본 후 완벽한 수프 레시피를 만든다고 상상해 보세요. 모든 요리사에게 요리법을 다시 배우라고 요청하는 대신, 서버는 "내 수프 맛을 원한다면 당신의 특정 향신료 2 스푼을 추가하세요"라고 말하는 '번역 카드'를 제공합니다. 이는 한 단계로 이루어집니다.

4. 왜 더 나은가 ('연방 격차')

이 논문은 글로벌 선생님을 로컬 형식으로 번역할 때 아주 작은 정보 손실이 발생한다고 증명합니다. 이를 **연방 격차 (Federation Gap)**라고 부릅니다.

• 그들은 이 오류를 세 부분으로 분해했습니다:
  1. 불일치: 번역기들이 얼마나 다른지.
  2. 조건부: '앵커' 상황들이 게임을 얼마나 잘 커버하는지.
  3. 편향: 안정성을 유지하기 위해 행해지는 미세한 수학 조정.
• 최적 지점: 그들은 충분한 '앵커' 상황 (특히, 번역기 크기보다 더 많은 앵커) 이 있다면 오류가 증가하지 않고 매우 낮고 예측 가능한 수준에 머무른다는 것을 발견했습니다.

5. 결과

저자들은 균형 잡기나 우주선 착륙과 같은 네 가지 고전적인 제어 작업에서 이를 테스트했습니다.

• 성능: FedQHD 는 느리고 복잡한 방법들과 마찬가지로, 혹은 그보다 더 잘 수행했습니다.
• 속도: 현저히 더 빨랐습니다. 무겁고 느린 신경망 학습 루프 대신 간단한 수학 공식을 사용하기 때문에 작업을 몇 시간 대신 몇 분 만에 완료했습니다.
• 효율성: 친구들이 서로 다른 크기의 번역기를 가지고 있더라도 시스템은 그들을 같은 크기로 강요할 필요 없이 원활하게 작동했습니다.

요약

FedQHD는 개인 데이터를 공유하지 않고 AI 에이전트들이 함께 학습할 수 있는 지적인 방법입니다.

• '무작위 특징' 번역기를 사용하여 복잡한 학습을 단순한 수학으로 변환합니다.
• 특정 테스트 사례 (앵커) 로부터 구축된 '글로벌 선생님'을 사용합니다.
• 그 선생님을 각 에이전트의 고유한 스타일로 단일하고 즉각적인 수학 단계를 통해 번역합니다.
• 그 결과는 빠르고 정확하며,所有人的 하드웨어가 다르더라도 작동하는 시스템입니다.