Combining Trained Models in Reinforcement Learning

새롭고 어려운 비디오 게임의 플레이 방법을 배우려 한다고 상상해 보세요. 여러분에게는 두 가지 선택지가 있습니다:

1. 처음부터 시작하기: 앉아서 '시작'을 누르고, 시행착오를 통해 모든 규칙, 적의 패턴, 단축키를 하나하나 배웁니다. 이는 엄청난 시간이 소요되며, 실력이 향상되기 전까지 수천 번이나 죽거나 실패할 수도 있습니다.
2. '멘토' 활용하기: 이미 유사한 게임을 마스터한 친구를 찾아 조언을 구하거나, 그들의 리플레이를 시청하여 전략을 배웁니다. 이는 보통 더 빠르게 배우는 데 도움이 됩니다.

이 논문은 *"언제 '멘토'(사전 훈련된 AI 모델) 를 사용하는 것이 처음부터 시작하는 것보다 AI 가 새로운 작업을 더 잘 학습하도록 실제로 도움이 되는가?"*라는 질문을 던지는 과학적 연구들을 체계적으로 검토 (신중하고 조직적인 검색) 한 것입니다.

저자 우즈왈 파틸 (Ujjwal Patil) 과 자바드 고프라니 (Javad Ghofrani) 는 수백 편의 연구 논문을 검토하여 15 개의 고품질 연구로 범위를 좁혀 실제 증거가 무엇을 말하는지 확인했습니다. 그들이 발견한 바를 간단히 설명하면 다음과 같습니다:

1. '유사성' 규칙 (최고의 친구 효과)

가장 중요한 발견은 지식을 재사용하는 것은 이전 작업과 새로운 작업이 유사할 때만 잘 작동한다는 것입니다.

• 비유: 여러분이 프로 농구 선수라고 상상해 보세요. 만약 축구를 해본다면, 농구 실력 (점프, 손 - 눈 협응) 이 조금은 도움이 되겠지만, 여전히 축구 규칙을 배워야 합니다. 하지만 배구를 해본다면 점프와 타이밍 실력이 거의 완벽하게 이전됩니다.
• 논문의 주장: 연구들에 따르면 AI 모델은 '소스' 작업 (멘토의 게임) 과 '타겟' 작업 (새로운 게임) 이 동일한 기본 규칙이나 구조를 공유할 때 가장 잘 학습합니다. 작업들이 너무 다르면, 무엇을 유지하고 무엇을 버릴지 결정하는 특별한 '필터'나 '게이트'가 없다면 이전 지식이 오히려 AI 를 혼란스럽게 할 수 있습니다.

2. '그룹 프로젝트' 문제 (앙상블 및 연동 학습)

답변을 위해 AI 팀이 투표하는 방식 (앙상블) 이나 여러 AI 가 별도로 학습한 후 노트를 공유하는 방식 (연동 학습) 과 같이 지식을 재사용하는 다른 방법들도 있습니다.

• 비유: 이는 그룹 프로젝트와 같습니다. 때로는 한 명보다 다섯 명이 문제를 해결하는 것이 더 나을 수 있습니다. 하지만 논문은 이에 대한 증거가 매우 미약하다고 발견했습니다.
• 논문의 주장: 이러한 방법들에 대한 연구는 몇몇에 불과합니다. 결과가 유망해 보이지만, 대부분 매우 구체적이고 좁은 상황에서만 테스트되었습니다. 저자들은 충분한 데이터로 일반적으로 작동한다는 것을 증명하지 못했으므로, '팀워크'가 항상 최선의 해결책이라고 가정하지 말라고 경고합니다.

3. '숨겨진 비용' 함정 (컴퓨팅 문제)

이는 공정성에 관한 중요한 포인트입니다. 많은 논문들이 AI 가 더 빠르게 학습하기 때문에 그들의 방법이 '더 효율적'이라고 주장합니다. 하지만 저자들은 이러한 비교가 이루어지는 방식에 있는 트릭을 발견했습니다.

• 비유: 한 학생이 "나는 친구보다 수학을 더 빨리 배웠다!"라고 주장한다고 상상해 보세요. 하지만 그 학생은 시험 시작 전 10 시간 동안 개인 교습을 받았고, 친구는 시험 도중 모든 것을 혼자 배워야 했습니다. 그 학생이 반드시 더 똑똑한 것은 아닙니다. 단지 계산되지 않은 선두 이점을 가지고 있었을 뿐입니다.
• 논문의 주장: 대부분의 연구는 처음에 '멘토'를 훈련시키는 데 걸린 시간이나 컴퓨터 성능을 계산하지 않습니다. 그들은 새로운 작업을 학습하는 데 걸린 시간만 계산합니다. 이는 '재사용' 방법을 실제보다 훨씬 더 효율적으로 보이게 만듭니다. 저자들은 공정한 답변을 얻기 위해 '멘토' 훈련 + '학생' 훈련의 전체 비용을 처음부터 시작하는 단일 AI 의 학습 비용과 비교해야 한다고 말합니다.

4. '독립성 스펙트럼' (이를 논의하는 새로운 방식)

저자들은 멘토들이 서로 얼마나 다른지를 설명하는 새로운 방식을 제안합니다. 이를 '독립성 스펙트럼'이라고 부릅니다.

• 비유: 합창단을 생각해 보세요.
  • 시드 다양성 (Seed Diversity): 모두 같은 노래를 부르지만, 다른 음에서 시작했습니다 (무작위 확률).
  • 데이터 다양성 (Data Diversity): 모두 같은 노래를 부르지만, 다른 방에서 연습했습니다 (다른 데이터).
  • 작업 다양성 (Task Diversity): 한 사람은 오페라를, 다른 사람은 재즈를 불렀고, 이제 함께 팝송을 부르고자 합니다.
• 논문의 주장: 현재 연구는 주로 앞의 두 가지 유형 (같은 작업, 다른 연습) 을 다룹니다. 완전히 다른 유형의 전문가들을 혼합하는 것 (작업 다양성) 이 실제로 도움이 되는지에 대해서는 아직 충분한 증거가 없습니다.

결론

이 논문은 AI 지식의 재사용이 만병통치약이 아니라고 결론 내립니다.

• 새로운 작업이 이전 작업과 매우 유사할 때 잘 작동합니다.
• 나쁜 조언을 걸러내는 특별한 시스템이 있다면 적당히 작동합니다.
• '팀워크'(앙상블) 나 '노트 공유'(연동 학습) 가 최선의 방법이라고 아직 말할 수 없습니다. 연구가 충분하지 않기 때문입니다.
• 멘토 훈련을 포함한 전체 컴퓨터 사용 시간을 계산하지 않는 한, 무언가가 '효율적'이라고 주장하는 것을 멈춰야 합니다.

간단히 말해: 이전 AI 의 뇌를 새로운 작업에 단순히 복사 - 붙여넣기 하지 마세요. 작업들이 유사한지 확인하고, 원래 훈련 비용을 무시함으로써 수학적으로 속이지 않았는지 확인하세요.