🤖 machine learning

Mechanistic origins of catastrophic forgetting: why RL preserves circuits better than SFT?

본 논문은 새로운 작업에 대한 모델의 적응 속도가 지도 미세 조정보다 빠르지만, 강화 학습이 내부 계산 회로를 더 잘 보존하여 재앙적 망각에 대한 내성을 기계적으로 설명할 수 있음을 입증하기 위해 차등 회로 취약성이라는 헤더 수준의 지표를 도입한다.

원저자: Jeanmely Rojas Nunez, Viraj Sawant, Nathan Allen, Nomgondalai Amgalanbaatar, Yannis Zongo, Vasu Sharma, Maheep Chaudhary

게시일 2026-05-29

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jeanmely Rojas Nunez, Viraj Sawant, Nathan Allen, Nomgondalai Amgalanbaatar, Yannis Zongo, Vasu Sharma, Maheep Chaudhary

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 간단한 언어와 창의적인 비유를 사용하여 설명합니다.

핵심 질문: 왜 AI 모델은 "잊어버릴까요"?

이미 시를 쓰고, 수학 문제를 풀고, 농담을 할 줄 아는 천재 학생 (AI 모델) 이 있다고 상상해 보세요. 이 학생에게 새로운 기술을 가르치고 싶습니다: 과학.

학생을 가르치는 두 가지 방법이 있습니다:

SFT(지도 미세 조정): 교과서를 주고 "이 답들을 정확히 암기하라"고 말합니다.
RL(강화 학습): 과학 질문에 답하게 한 뒤, 답변의 질에 따라 "좋음" 또는 "나쁨"을 표시해 주며, 스스로 최선의 학습 방법을 찾게 합니다.

문제점: 새로운 기술을 가르치면 학생은 종종 기존 기술 (시나 수학 등) 을 잊기 시작합니다. 이를 파괴적 망각이라고 합니다.

발견: 최근 연구들은 "좋음/나쁨" 방법 (RL) 이 "교과서 암기" 방법 (SFT) 보다 기존 기술을 유지하는 데 더 효과적임을 보여주었습니다. 하지만 왜일까요? 이 논문은 AI 의 두뇌를 들여다보아 그 기계적인 원인을 찾아냅니다.

비유: 사고 회로의 도서관

AI 의 두뇌를 단일한 기억 블록이 아니라, 수많은 작고 전문화된 일꾼들 (회로나 어텐션 헤드라고 부름) 로 구성된 거대한 도서관으로 생각해보세요.

어떤 일꾼들은 수학에 뛰어납니다.
어떤 일꾼들은 문법에 뛰어납니다.
어떤 일꾼들은 농담을 잘합니다.

AI 가 새로운 것을 배울 때, 이 일꾼들을 재배치해야 합니다. 문제는 다음과 같습니다: 모두 해고하고 새로운 일꾼들을 고용할까요, 아니면 기존 팀을 유지하고 새로운 지시만 줄까요?

실험: 무슨 일이 일어났을까요?

연구진은 특정 AI(Qwen2.5-3B) 를 가져와 두 가지 방법 모두를 사용하여 과학 질문에 답하도록 가르쳤습니다. 그런 다음 도서관 내부로 들어가 어떤 일꾼들이 여전히 일하고 있는지, 그리고 그들이 어떻게 행동하는지 살펴보았습니다.

1. "교과서" 방법 (SFT) = 과도한 최적화자

하는 일: 새로운 과학 작업을 매우 빠르게 배웁니다. 빠르게 높은 점수를 얻습니다.
대가: 그 높은 점수를 얻기 위해 기존 일꾼들을 과감히 해고하고 "과학 전문가"라는 작고 전문화된 팀으로 대체합니다.
결과: 도서관이 축소됩니다. 원래 일꾼들의 약 52% 만 유지됩니다. 기존 일꾼들 (시, 수학, 농담) 은 밀려납니다. AI 는 훌륭한 과학가가 되지만 끔찍한 시인이 됩니다.
비유: 새로운 부엌을 짓기 위해 일반 계약자가 집 전체의 배선과 배관을 뜯어내어 새 디자인에 완벽하게 맞도록 하는 것과 같습니다. 부엌은 완벽하지만 침실의 전등은 더 이상 작동하지 않습니다.

2. "좋음/나쁨" 방법 (RL) = 신중한 리모델링자

하는 일: 새로운 과학 작업을 더 느리게 배웁니다. 같은 높은 점수에 도달하는 데 더 많은 시간이 걸립니다.
이점: 기존 팀을 해고하는 대신 부드럽게 안내합니다. 원래 일꾼들 (약 72%) 을 거의 모두 유지하면서, 기존 기술을 과학에 적용하는 법만 가르칩니다.
결과: 도서관은 크고 다양하게 유지됩니다. AI 는 과학을 배우지만, 농담을 하거나 수학을 하는 법도 기억합니다.
비유: 기존 가구와 배선을 신중하게 재배치하여 새로운 부엌을 짓는 계약자와 같습니다. 완공까지 시간이 더 걸리지만 침실의 전등은 여전히 작동하며 집의 느낌은 그대로 유지됩니다.

주요 발견 (기계적 증명)

이 논문은 **"차별적 회로 취약성"**이라는 새로운 측정 방법을 도입했습니다. 그들이 발견한 바는 다음과 같습니다:

SFT 는 "압축기"입니다: AI 의 두뇌를 작고 전문화된 형태로 압축합니다. 새로운 작업을 위해 몇몇 "슈퍼 일꾼"을 만들지만, 그렇게 함으로써 기존 작업을 처리하던 섬세한 네트워크를 파괴합니다.
RL 은 "분산 적응기"입니다: 새로운 학습을 두뇌 전체에 분산시킵니다. 단일 일꾼이 압도되지 않습니다. 원래 "회로"(AI 가 기존 기술을 위해 사용하던 경로) 는 intact(무결한 상태) 로 남아 계속 기능합니다.
트레이드오프:
- SFT: 빠른 학습이지만 기존 성격과 기술을 잃습니다.
- RL: 느린 학습이지만 기존 성격과 기술을 유지합니다.

왜 이것이 중요한가요?

이 논문은 RL 이 내부 "기계"를 보존하기 때문에 망각에 더 강건하다고 결론지었습니다.

우리가 SFT 를 사용할 때, 새로운 형태에 맞추기 위해 AI 의 내부 코드를 사실상 덮어쓰게 되어 기존 코드가 깨집니다. 반면 RL 을 사용할 때는 기존 코드를 미세 조정하여 AI 가 기존 기술을 삭제하지 않고 새로운 기술을 습득할 수 있게 합니다.

간단히 말해: 빠르지만 다른 모든 것을 잊는 AI 를 원한다면 "교과서" 방법을 사용하세요. 꾸준히 배우고 원래 성격과 기술을 유지하는 AI 를 원한다면 "좋음/나쁨" 방법을 사용하세요.

기술적 요약: 파국적 망각의 기작적 기원

문제 제기
대규모 언어 모델 (LLM) 을 새로운 하위 작업에 맞게 미세 조정하는 과정은 종종 파국적 망각을 유발합니다. 이는 새로운 목표에서의 성취가 기존 능력의 손실을 대가로 치르게 되는 현상입니다. 최근 행동 연구들은 강화 학습 (RL) 이 감독 미세 조정 (SFT) 보다 기존 능력을 더 효과적으로 보존한다고 시사합니다. 이는 분포 변화 (KL 발산으로 측정) 측면에서 정책 경사 업데이트가 기본 정책에 더 가깝게 유지되기 때문이라고 설명됩니다. 그러나 이러한 차이에 대한 내부 기작적 이유는 아직 탐구되지 않았습니다. 본 연구의 핵심 질문은 RL 의 보존 우위가 모델 능력을 구현하는 내부 계산 회로 (어텐션 헤드, MLP 레이어, 잔차 경로) 의 더 강력한 보존과 일치하는지 여부입니다.

방법론
저자들은 과학적 질문 응답 작업에 적용된 Qwen2.5-3B-Instruct를 사용하여 이 문제를 조사합니다. 실험 파이프라인은 다음 세 단계로 구성됩니다:

행동 재현: 본 연구는 SFT 와 RL 간의 알려진 보존 격차를 재현합니다. 베이스 모델 ( $\pi_{base}$ ) 을 완료 전용 교차 엔트로피 손실로 미세 조정하여 SFT 모델 ( $\pi_{SFT}$ ) 을 생성합니다. 이후 이 SFT 모델을 Dr.GRPO(그룹 상대 정책 최적화의 변형) 로 정제하여 RL 모델 ( $\pi_{RL}$ ) 을 만듭니다. 행동적 변화는 보존 벤치마크에서의 기대 KL 발산을 사용하여 정량화합니다.
회로 식별: 저자들은 **차이 이진 마스킹 (DBM)**을 사용하여 어텐션 헤드 수준에서 내부 계산 회로를 식별합니다. DBM 은 베이스와 반사실적 활성화 사이를 보간하는 어텐션 헤드에 대한 마스크를 학습합니다. 이러한 마스크를 최적화하여 목표 답변의 확률을 높이면서 희소성을 유지함으로써, 특정 행동을 담당하는 희소 인과 서브네트워크 (회로) 를 분리해냅니다.
교차 모델 회로 비교: 본 연구는 다양한 학습 목표 하에서 회로가 얼마나 저하되는지를 비교하는 헤드 수준의 측정치인 차이 회로 취약성을 도입합니다. 주요 지표는 다음과 같습니다:
- 회로 충실도: 추출된 서브그래프가 회복한 행동과 전체 모델의 행동 비율.
- 헤드 수준 마스크 변화 ( $\Delta m_h$ ): 베이스 모델 대비 미세 조정 모델의 마스크 값을 비교하여 보존되거나 증폭되거나 약화된 헤드를 식별.
- 필요성과 충분성: 헤드가 방해받을 때 로그 확률 하락을 측정하는 개입 (필요성) 과 해당 헤드만 활성화될 때 회복되는 행동 (충분성).

주요 기여

차이 회로 취약성: 이 논문은 서로 다른 학습 목표 (SFT 대 RL) 하에서 내부 계산 서브그래프가 저하될 수 있는 상대적 취약성을 정량화하는 새로운 측정치를 도입합니다.
망각의 기작적 설명: 이 연구는 SFT 대비 RL 의 우위에 대한 행동적 설명을 기작적 수준으로 확장하여, RL 이 SFT 보다 베이스 회로의 더 큰 부분을 보존함을 입증합니다.
트레이드오프 특성화: 본 연구는 사후 학습에서의 근본적인 트레이드오프를 특성화합니다. SFT 는 목표 작업에 더 빠르게 적응하지만 상당한 회로 교란을 초래하는 반면, RL 은 더 느린 작업 적응 대가로 베이스 회로를 보존합니다.

결과

회로 보존 궤적: 두 학습 에포크 동안 SFT 와 RL 은 급격히 갈라집니다. SFT 는 1 에포크 후 베이스 어텐션 헤드의 63.5% 만 보존하며, 2 에포크까지 59.0% 로 감소합니다. 반면 RL 은 1 에포크 후 69.8% 를 보존하고 2 에포크까지 72.5% 로 회복하여 베이스 회로 보존에서 13.5 퍼센트 포인트의 우위를 유지합니다.
구조적 압축 대 분산 적응: DBM 은 297 개의 헤드로 구성된 베이스 회로를 식별합니다. SFT 모델은 약 265 개 헤드 (전체의 46.0%) 로 구조적 압축을 겪는 반면, RL 모델은 약 296 개 헤드 (51.4%) 를 유지합니다. SFT 는 새로운 작업 행동을 더 작은 세트의 "중요한 전문가" (높은 필요성과 충분성) 로 집중시키는 반면, RL 은 베이스 모델과 밀접하게 겹치는 분산 아키텍처를 유지합니다.
인과적 관여: RL 은 일관되게 더 높은 차이 인과 매개 (DCM) 점수를 유지합니다 (예: 1 에포크에서 15.8 대 10.4). 이는 RL 에서 보존된 회로가 SFT 에 비해 모델 행동과 관련하여 더 강력한 인과 신호를 전달함을 나타냅니다.
출력 대 내부 지표: 주목할 점은 RL 모델이 SFT 모델보다 더 큰 출력 공간 KL 발산을 보임에도 불구하고 더 많은 기존 능력과 내부 회로 구조를 보존한다는 것입니다. 이는 출력 공간 지표가 내부 망각을 신뢰할 수 있게 예측하지 못할 수 있음을 시사합니다.

의의
본 논문은 회로 보존이 RL 이 SFT 보다 파국적 망각에 더 강건한 이유에 대한 기작적 설명을 제공한다고 주장합니다. 이 발견들은 지속적인 적응을 단순히 매개변수 최적화가 아닌, 기술을 인코딩하는 회로의 선택적 보존 및 수정으로 보아야 함을 시사합니다. 결과는 SFT 가 빠른 전문화를 위해 회로를 공격적으로 재구성하는 "압축기"로 작용하는 반면, RL 은 기존 표현을 보수적으로 재사용하는 "분산 적응기"로 작용하는 트레이드오프를 나타냅니다. 이 관점은 망각의 내부 원인을 이해하는 기초를 제공하며, 향후 적응 방법이 효율적인 학습과 선택적 회로 보존을 결합하는 데서 혜택을 받을 수 있음을 시사합니다.

한계점
저자들은 본 연구가 단일 모델 아키텍처 (Qwen2.5-3B-Instruct) 와 특정 작업 세트 (과학적 QA) 로 제한됨을 지적합니다. 회로 분석은 주로 어텐션 헤드에 초점을 맞추고 있으며, MLP 레이어와 잔차 스트림 특징은 제외되었습니다. 다른 아키텍처 (예: Gemma, Mistral, Llama) 와 더 넓은 능력 영역으로의 일반화 여부는 아직 검증되지 않았습니다.