Free(): Learning to Forget in Malloc-Only Reasoning Models
이 논문은 추론 모델이 불필요한 정보를 계속 축적하여 성능이 저하되는 문제를 해결하기 위해, LoRA 어댑터를 통해 불필요한 컨텍스트를 동적으로 삭제하는 '자기 망각(self-forgetting)' 메커니즘인 Free()LM을 제안하여 긴 추론 과정에서도 높은 정확도를 유지함을 보여줍니다.
원저자:Yilun Zheng, Dongyang Ma, Tian Liang, Jiahao Xu, Xinting Huang, Lihui Chen, Haitao Mi, Yan Wang
지금의 똑똑한 AI(추론 모델)들은 문제를 풀 때 마치 **'메모장'**에 모든 생각을 다 적어 내려가는 학생과 같습니다.
비유: 수학 문제를 풀 때, "1+1은 2니까...", "아, 아니지 1+2는 3이니까...", "잠깐, 다시 생각해보자..."라며 머릿속에 떠오르는 모든 낙서와 시행착오를 지우지 않고 계속 종이에 적어 나가는 거예요.
문제 발생: 종이가 점점 꽉 차면 어떻게 될까요? 나중에는 진짜 중요한 공식이 어디 있는지 찾을 수도 없고, 예전에 했던 틀린 계산 내용이 너무 많아서 머릿속이 쓰레기 데이터로 가득 차버립니다. 결국 AI는 똑같은 말을 반복하거나, 아예 멍해져서 문제를 못 풀게 됩니다(이 논문에서는 이를 '붕괴'라고 표현합니다).
이것을 논문에서는 **"Malloc(메모리 할당)만 하고 Free(메모리 해제)는 못 하는 상태"**라고 부릅니다. 즉, 계속 쌓아두기만 하고 버릴 줄 모른다는 뜻이죠.
2. 해결책: Free()LM — "지우개 능력을 장착한 AI"
연구진은 이 AI에게 아주 특별한 **'지우개(Free-Module)'**를 달아주었습니다. 이름하여 Free()LM입니다.
비유: 이 AI는 문제를 풀다가 중간중간 **'정리 시간'**을 갖습니다.
1단계 (생각 모드): 일단 열심히 문제를 풀며 낙서를 합니다.
2단계 (청소 모드): "잠깐, 방금 적은 이 계산은 틀린 거니까 지워버리자!", "이 부분은 이미 결론이 났으니 필요 없어!"라고 판단해서 불필요한 낙서들을 싹 지웁니다.
3단계 (다시 생각 모드): 깨끗해진 종이(메모리)를 보고 다시 집중해서 문제를 풀어 나갑니다.
3. 결과: "더 적게 적고, 더 많이 맞힌다"
이 '지우개'를 달아줬더니 놀라운 결과가 나타났습니다.
엉뚱한 길로 빠지지 않음: 기존 AI는 생각이 길어질수록 0점에 가까워질 정도로 망가졌지만, Free()LM은 깨끗한 상태를 유지하기 때문에 아주 어려운 문제에서도 끝까지 정답을 찾아냈습니다.
효율성 폭발: 종이를 덜 쓰니까(메모리를 적게 쓰니까) 훨씬 빠르고 효율적으로 움직입니다.
범용성: 이 지우개는 작은 AI부터 엄청나게 큰 AI까지 모두에게 잘 작동합니다. 마치 어떤 학생에게든 잘 맞는 '만능 지우개'와 같습니다.
💡 요약하자면?
지금까지의 AI 발전이 **"얼마나 더 많은 정보를 기억하고 길게 생각할 수 있는가(용량 키우기)"**에 집중했다면, 이 논문은 **"어떻게 하면 불필요한 정보를 똑똑하게 버리고 핵심만 남길 것인가(정리하기)"**가 훨씬 중요하다는 것을 증명했습니다.
**"진정한 지능은 단순히 많이 아는 것이 아니라, 무엇을 잊어야 할지 아는 능력에서 나온다"**는 멋진 메시지를 담고 있는 연구입니다.
[기술 요약] Free(): Malloc-Only 추론 모델에서의 '망각' 학습
1. 문제 정의 (Problem Statement)
최근의 추론 모델(Reasoning Models)은 테스트 시간 연산량(test-time compute)을 늘려 더 많은 '생각 토큰(thinking tokens)'을 생성함으로써 문제 해결 능력을 높이고 있습니다. 하지만 이 과정에서 심각한 **'패러독스(Paradox)'**가 발생합니다.
Malloc-only 엔진의 한계: 현재의 LLM은 정보를 계속 쌓기만 할 뿐(malloc), 불필요하거나 중복된 정보를 삭제하는 메커니즘(free)이 없습니다.
성능 저하 및 붕괴 (Degeneration): 추론 과정이 길어질수록 중복된 단계, 잘못된 시도, 불필요한 중간 과정이 컨텍스트(Context)를 가득 채우게 됩니다. 이는 모델에게 '노이즈'로 작용하여, 일정 길이를 넘어서면 모델이 반복 루프에 빠지거나 성능이 급격히 떨어지는 '추론 붕괴(Reasoning Collapse)' 현상을 야기합니다. (예: Qwen3-235B 모델이 80k 토큰 이상에서 정확도 0%로 추락)
2. 제안 방법론 (Methodology: Free()LM)
저자들은 모델이 스스로 불필요한 정보를 식별하고 제거할 수 있는 Free()LM 아키텍처를 제안합니다.
A. 핵심 구조: Free-Module
Plug-and-play LoRA 어댑터: 기존 모델의 가중치는 고정한 채, 가볍고 탈부착이 가능한 LoRA 어댑터 형태의 'Free-Module'을 추가합니다.
두 가지 모드 전환 (Cyclic Mechanism):
Reasoning Mode (Unmerged): 기존 모델처럼 다음 토큰을 생성하며 문제를 해결하는 데 집중합니다.
Cleaning Mode (Merged): 특정 주기(Lclean)마다 Free-Module을 활성화하여 컨텍스트를 스캔합니다. 모델은 삭제할 구간의 시작(prefix)과 끝(suffix)을 지정하는 JSON 형식의 명령어를 출력하여 중복된 구간을 제거합니다.
B. 데이터 구축 및 학습 (Learning to Forget)
단순히 프롬프트로 "지워라"라고 명령하는 방식(ICL)은 성능 향상이 미미했기에, 모델이 직접 '망각'을 학습하도록 설계했습니다.
데이터 합성 (Data Synthesis): Gemini-2.5-Pro를 활용하여 추론 경로를 1k 토큰 단위로 나누고, 어떤 부분을 지워야 할지 후보군을 생성합니다.
보상 메커니즘 (Reward Mechanism): 생성된 삭제 명령어가 유효한지 검증하기 위해 **'재검증(Rejection Sampling)'**을 수행합니다. 삭제 후의 컨텍스트(Cnew)에서 수행한 추론 결과가 원래 컨텍스트(Craw)에서의 결과보다 정확도가 높거나 유지될 때만 해당 데이터를 학습 데이터로 채택합니다. 이를 통해 모델은 '정답에 필요한 정보'와 '노이즈'를 구분하는 법을 배웁니다.
3. 주요 기여 (Key Contributions)
새로운 패러다임 제시: LLM의 추론 과정을 '단순 축적(malloc)'에서 '관리 및 삭제(malloc + free)'의 개념으로 전환했습니다.
효율적인 프루닝(Pruning): 긴 문장을 통째로 다시 쓰는 대신, 짧은 앵커(prefix, suffix)만 생성하여 대량의 컨텍스트를 매우 적은 비용으로 제거합니다.
범용적 확장성: 8B부터 685B에 이르는 다양한 규모의 모델에 적용 가능하며, 심지어 다른 아키텍처(DeepSeek 등)에도 적용 가능한 **'범용 컨텍스트 프루닝 서비스'**로서의 가능성을 보여주었습니다.
4. 실험 결과 (Results)
성능 향상: 6개의 벤치마크에서 평균 3.3%의 정확도 향상을 기록했습니다. 특히 IMOanswerBench에서는 DeepSeek V3.2-Speciale 모델을 사용하여 새로운 SOTA(State-of-the-art)를 달갱성했습니다.
장기 추론 복구 (Long-horizon Recovery): 가장 놀라운 결과는 긴 추론이 필요한 작업에서 나타났습니다. 표준 모델이 80k 토큰 이후 정확도 0%로 붕괴될 때, Free()LM은 컨텍스트를 약 45% 압축하여 정확도를 약 50%까지 회복시켰습니다.
효율성: 컨텍스트 길이를 크게 줄임으로써(최대 27.5%~45% 감소), KV 캐시 메모리 사용량을 획기적으로 절감했습니다. (단, 삭제 후 재계산으로 인해 지연 시간(Latency)은 약 56% 증가함)
5. 의의 (Significance)
본 논문은 **"지속 가능한 지능(Sustainable Intelligence)을 위해서는 생각하는 힘만큼이나 잊는 자유가 필요하다"**는 철학적이고도 기술적인 통찰을 제시합니다.
단순히 컨텍스트 윈도우(Context Window)를 물리적으로 늘리는 것만으로는 해결할 수 없는 '정보 과부하' 문제를, 모델 스스로가 자신의 메모리를 관리하는 **'능동적 망각(Active Forgetting)'**을 통해 해결함으로써, 차세대 장기 추론 에이전트(Long-horizon Reasoning Agents)를 위한 중요한 기반을 마련했습니다.