🤖 machine learning

Continual Self-Improvement with Lightweight Experiential Latent Memories

본 논문은 경량화된 자기 지도 학습을 통해 일시적인 추론 흔적을 압축되고 모듈화된 잠재 메모리로 변환함으로써, 대규모 언어 모델이 치명적 망각 없이 지속적인 자기 개선과 우수한 추론 성능을 달성할 수 있게 하는 효율적인 온라인 방법을 제안한다.

원저자: Vaggelis Dorovatas, Nancy Kalaj, Rahaf Aljundi

게시일 2026-06-17

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Vaggelis Dorovatas, Nancy Kalaj, Rahaf Aljundi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 아주 똑똑하고 명석한 학생(대규모 언어 모델)이 있다고 상상해 보세요. 이 학생은 수학 문제를 푸는 데 매우 능숙합니다. 하지만 이 학생에게는 이상한 버릇이 하나 있습니다. 바로 방금 배운 것을 기억하지 못한다는 것입니다.

새로운 문제를 줄 때마다, 학생은 처음부터 다시 시작합니다. 몇 시간을 고민하고, 실수를 하고, 스스로 수정하며 마침 Finalmente 정답을 찾아내더라도, 그 정답을 제출하는 순간 그 모든 "사고 과정"은 사라져 버립니다. 학생은 다음 문제에서 더 똑똑해지지 않습니다. 마치 숙제를 끝내자마자 자신의 숙제를 잊어버리는 천재와 같습니다.

이 논문은 이를 해결하기 위해 **ELM (Experiential Latent Memory, 경험적 잠재 기억)**이라는 시스템을 소개합니다. 이것은 AI가 교사의 채점 없이도 시간이 지남에 따라 스스로 발전할 수 있도록, 자신의 사고 과정을 기록하는 "치트 시트(요약 노트)"를 갖게 하는 방법입니다.

작동 원리는 다음과 같습니다.

1. 문제점: 왜 "노트 읽기"는 효과가 없는가

연구진은 먼저 간단한 접근 방식인 **인컨텍스트 러닝(In-Context Learning, ICL)**을 시도했습니다.

비유: 학생이 자신의 이전 생각들을 기록한 전사본을 읽으며 배우려고 노력한다고 가정해 봅시다. "지난번 기하학 문제를 풀 때, 나는 이렇게 적었다: '1단계: 각도를 찾는다. 2단계: 공식을 사용한다.'"
결과: 이 방식은 잘 작동하지 않았습니다. 연구진은 단순히 솔루션의 텍스트를 읽는 것은, 요리를 직접 해보지도 않고 레시피만 읽는 것과 같다는 사실을 발견했습니다. 그것은 모델의 두뇌 내부에서 일어났지만 텍스트로 구현되지 못한—막다른 길, 확신 수준, 숨겨진 논리 같은—실제 사고 과정의 "풍미"를 놓치고 있습니다. 이는 새로운 까다로운 문제를 해결하는 데 너무 얕은 수준입니다.

2. 해결책: "플래시카드" 시스템

모든 이야기를 글로 쓰는 대신, 연구진은 AI가 문제를 풀 때마다 **작고 보이지 않는 "플래시카드"**를 만들도록 하는 시스템을 구축했습니다.

과정:
1. 테스트: AI가 수학 문제를 풀려고 시도합니다.
2. 자기 점검: 교사가 없기 때문에, AI는 동일한 문제에 대해 많은 서로 다른 답안을 생성합니다. 그런 다음 그 답안들을 살펴보며 말합니다. "좋아, 10개 중 7개가 답이 42라고 하네. 그렇다면 42가 아마 맞을 거야." 이것을 **다수결 투표(Majority Voting)**라고 합니다. 이는 자가 채점 시스템 역할을 합니다.
3. 학습: AI는 해당 특정 문제와 스스로 채점한 답안을 바탕으로 작고 가벼운 "플래시카드"(소프트 프롬프트라고 불림)를 훈련시킵ers.
4. 저장: 이 플래시카드는 "메모리 풀(Memory Pool)"에 저장됩니다. 이는 모델 크기의 0.001%에 불과할 정도로 매우 작아서 시스템 속도를 늦추지 않습니다.

3. 플래시카드 사용하기: "사서"

새로운 수학 문제가 들어오면, 시스템은 사서처럼 행동합니다.

검색: 새로운 문제를 보고 묻습니다. "우리 메모리 풀에 이와 유사한 플래시카드가 있는가?"
인출: 만약 일치하는 것을 찾으면, 그 작은 플래시카드를 꺼내어 새 문제에 붙입니다.
이중 점검: AI는 플래시카드 없이 한 번(Zero-Shot), 그리고 플래시카드 있이 한 번, 총 두 번 문제를 풉니다.
판결: "검증기(Verifier)"(안전 장치)가 두 답안을 비교합니다. 만약 플래시카드를 사용한 버전이 더 낫다면 그것을 사용합니다. 만약 플래시카드가 상황을 악화시킨다면(때로는 자가 채점이 틀릴 수도 있으므로), 검증기는 원래의 답안을 선택합니다.

4. 이것이 왜 중요한가

망각 방지: AI가 전체 뇌를 다시 쓰는 것이 아니라(이는 기존 기술을 잊게 만들 수 있음), 이 작고 고립된 플래시카드를 추가하는 방식이기 때문입니다. 이는 기존의 내용을 지우지 않고 책에 새로운 장을 추가하는 것과 같습니다.
효율성: 학습을 위해 슈퍼컴퓨터가 필요하지 않습니다. AI는 한 번에 한 문제씩, 매우 적은 단계만으로 실시간으로 학습합니다.
오프라인 훈련보다 우수함: 놀랍게도, 이 논문은 이 방식을 통해 한 번에 하나의 문제로부터 학습하는 것이 수천 개의 문제를 담은 거대한 데이터셋으로 한꺼번에 훈련하는 것보다 종종 더 효과적이라는 것을 발견했습니다. AI는 한 번에 특정 경험에 집중할 때 그 "본질"을 더 잘 학습하는 것으로 보입니다.

요약

ELM을 기억력이 나쁜 천재에게 주는 개인용, 자동 업데이트 주머니 수첩이라고 생각하세요.

문제를 설명하는 긴 이야기를 쓰는 대신, 자신이 배운 것을 바탕으로 작고 보이지 않는 "힌트"를 적습니다.
힌트가 좋은지 확인하기 위해 스스로의 작업을 검토합니다.
새로운 문제가 도착하면, 수첩에서 유사한 힌트를 찾습니다.
힌트가 도움이 되면 사용하고, 도움이 되지 않으면 무시합니다.

그 결과, 이 시스템은 문제를 풀 때마다 더 똑똑해지며, 자신의 "사고 시간"을 인간 교사 없이도 영구적이고 재사용 가능한 지식으로 바꿉니다.

기술 요약: 경량화된 경험적 잠재 메모리를 통한 지속적 자기 개선 (Continual Self-Improvement with Lightweight Experiential Latent Memories)

문제 정의

대규모 언어 모델(LLM)은 추론 시간 연산량(예: Chain-of-Thought, 확장된 사고 과정)을 스케일링함으로써 강력한 추론 능력을 달성하고 있습니다. 그러나 이러한 모델들은 배포 후 근본적으로 상태 비저장(stateless) 상태로 남습니다. 즉, 추론 과정에서 생성된 풍부한 자기 생성 추론 흔적(reasoning traces)을 버리게 되며, 계산적 노력을 재사용 가능한 지식으로 전환하거나 경험을 축적하지 못합니다.

이를 해결하려는 기존 방식들은 다음과 같은 중대한 한계에 직면해 있습니다:

학습이 필요 없는 인컨텍스트 학습(In-Context Learning, ICL): 가공되지 않은 텍스트 추론 흔적을 저장하는 방식은 "텍스트 병목 현상(textual bottleneck)"을 겪습니다. 이들은 표면적인 출력값만을 저장할 뿐, 그 이면에 있는 추론 구조나 중간 상태를 저장하지 못하므로, 얕은 일반화에 그치고 작업 간의 효과적인 전이가 이루어지지 않습니다.
오프라인 강화 학습(Offline Reinforcement Learning, RL): 내부 보상(예: 다수결 투표)을 사용하는 비지도 RL 방식은 유망하지만, 일반적으로 전체 테스트 데이터셋에 대한 사전 접근이 필요한 오프라인 환경에서 작동합니다. 또한, 전체 모델 업데이트에 의존하기 때문에 파괴적 망각(catastrophic forgetting), 최적화 불안정성, 그리고 증가하는 테스트 데이터로 인한 자기 감독 신호의 간섭 문제를 야기하며 확장성이 떨어집니다.

핵심 과제는 외부의 감독 없이, 미래의 데이터에 대한 사전 접근 없이, 그리고 초기 능력을 잃지 않으면서, LLM이 문제를 하나씩 스트리밍 방식으로 학습할 수 있는 **진정한 온라인 지속적 자기 개선(online, continual self-improvement)**을 가능하게 하는 것입니다.

방법론: 경험적 잠재 메모리 (Experiential Latent Memory, ELM)

저자들은 추론 시간의 연산량을 압축되고 모듈화된 **잠재 메모리(latent memories)**로 증류하는 온라인 방법론인 ELM을 제안합니다. 이 접근 방식은 세 가지 주요 구성 요소로 이루어집니다.

1. 메모리 생성 (샘플별 학습)

메인 모델을 업데이트하는 대신, 시스템은 마주하는 각 문제에 대해 가볍고 특정 사례에 특화된 메모리를 학습합니다.

내부 보상 신호: 정답 라벨이 없는 상황에서, 모델은 주어진 입력에 대해 여러 개의 후보 응답( $N$ )을 생성합니다. **다수결 투표(majority voting)**를 통해 합의된 답안을 도출하며, 이를 프록시 라벨(proxy label)로 사용합니다.
학습 목적 함수: 모델은 **그룹 상대 정책 최적화(Group Relative Policy Optimization, GRPO)**를 사용하여 학습됩니다. 어드밴티지(advantage)는 합의된 답안을 기준으로 샘플링된 출력 그룹 내에서의 보상을 정규화하여 계산됩니다.
매개변수화: 메모리는 소프트 프롬프트(Soft Prompt)(입력 앞에 붙는 학습 가능한 연속 벡터 시퀀스)로 매개변수화됩니다.
- 효율성: 이 소프트 프롬프트는 전체 모델 파라미터의 약 $0.001\%$ 에 불과합니다.
- 격리성: 베이스 모델은 동결(frozen)된 상태를 유지합니다. 각 메모리는 내부 보상 신호를 사용하여 몇 단계의 그래디언트 스텝(예: 10 스텝) 동안 독립적으로 학습됩니다. 이러한 모듈형 설계는 샘플 간의 간섭을 방지하고 파괴적 망각을 피합니다.

2. 메모리 검색 (Memory Retrieval)

새로운 테스트 샘플이 도착하면, 시스템은 메모리 풀에서 가장 관련성이 높은 메모리를 검색합니다.

키(Key) 구축: 키는 소프트 프롬프트 임베딩으로부터 유도되거나(입력 검색), 모델의 내부 KV 프로젝션으로부터 풀링된 활성화 값으로부터 유도됩니다(KV 검색).
매칭: 새로운 입력의 쿼리 벡터와 저장된 메모리 키 사이의 코사인 유사도를 계산하여 검색을 수행합니다.

3. 응답 라우팅 (Response Routing/Verification)

메모리는 자기 감독(self-supervision)을 통해 학습되므로 노이즈가 섞일 수 있으며, 때때로 성능을 저하시킬 수 있습니다(정답인 제로샷 답변을 오답으로 바꿀 수 있음).

이중 생성: 주어진 입력에 대해 시스템은 제로샷 응답과 메모리 증강 응답을 모두 생성합니다.
검증: 두 응답이 일치하면 해당 답안을 반환합니다. 만약 불일치할 경우, 검증기(Verifier)(프로세스 보상 모델, Process Reward Model)가 더 높은 점수를 받은 응답을 선택합니다. 이 라우팅 메커니즘은 신뢰성을 확보하고 메모리로 인한 성능 퇴보를 완화합니다.

주요 기여

잠재적 경험 메모리: 표면적인 텍스트가 아닌 추상적인 추론 구조를 포착하는, 모듈형의 인스턴스 수준 잠재 표현(소프트 프롬프트)을 직접 학습하는 방법을 도입했습니다.
온라인 지속적 프로토콜: 모델이 미래의 데이터에 대한 사전 접근이나 외부 라벨 없이도 경험이 축적됨에 따라 지속적으로 개선될 수 있는 엄격한 온라인 프레임워크를 제공합니다.
효율성 및 모듈성: 경험을 경량 단위( $\sim 0.001\%$ 파라미터)에 격리함으로써, 전체 모델 업데이트나 파괴적 망골 없이 안정적인 학습을 가능하게 하는 설계를 구현했습니다.
실증적 검증: 개별 샘플로부터 내부 보상을 통해 학습하는 것이 전체 데이터셋에 대한 오프라인 학습과 대등하거나 이를 능가하는 일반화 이득을 얻을 수 있음을 입증했습니다.

실험 결과

저자들은 Llama-3.1-8B-Instruct와 Qwen2.5-Math-7B를 사용하여 도전적인 수학적 추론 벤치마크(MATH500, AMC23, AIME24)에서 ELM을 평가했습니다.

베이스라인 대비 성능:
- ELM은 제로샷(zero-shot) 및 원시 데이터 ICL(raw-data ICL) 베이스라인보다 유의미하게 높은 성능을 보였습니다.
- MATH500에서, ELM(사전 데이터 접근 없이 완전히 온라인으로 학습됨)은 전체 데이터셋 기반의 오프라인 GRPO 및 TTRL 베이스라인을 모두 능가했습니다.
- AMC23 및 AIME24에서, ELM은 베이스 성능을 실질적으로 향상시켰으며(예: AMC23에서 Qwen 기준 +12.5 포인트), 종종 오프라인 전체 데이터셋 학습 결과와 일치하거나 이를 초과했습니다.
일반화: 개별 잠재 메모리가 전체 테스트 세트에 걸쳐 효과적으로 일반화됨을 보여주었으며, 소프트 프롬프트가 LoRA 기반 매개변수화보다 일반화 능력 면에서 우수함을 입증했습니다.
교차 데이터셋 전이: 한 데이터셋(예: AIME24)에서 학습된 메모리가 다른 데이터셋(예: AMC23)으로 효과적으로 전이되었으며, 이는 학습된 표현이 일반화 가능한 추론 구조를 포착하고 있음을 보여줍니다.
오프라인 학습과의 비교: 놀랍게도, 내부 보상을 사용하여 개별 샘플을 학습하는 것이 전체 모델을 전체 데이터셋에 대해 학습시키는 것보다 더 나은 일반화 성능을 보이는 경우가 많았습니다. 이는 전체 모델 업데이트가 저데이터 환경(low-data regimes)에서 용량 불일치나 간섭 문제를 겪을 수 있음을 시사합니다.

의의 및 주장

본 논문은 ELM을 지속적 자기 개선이 가능한 모델을 향한 기초적인 단계로 규정합니다. 그 의의는 다음과 같습니다:

격차 해소: 일시적이고 비용이 많이 드는 추론 시간의 연산량을 외부 감독 없이 지속적이고 재사용 가능한 지식으로 성공적으로 전환했습니다.
확장성: 모듈형의 경량 메모리를 사용함으로써, 전체 모델 미세 조정과 관련된 계산적 오버헤드나 안정성 문제 없이 축적된 경험에 따라 확장할 수 있습니다.
한계 극려: 잠재 공간에서 작동함으로써 ICL의 "텍스트 병목" 문제를 해결하고, 진정한 스트리밍 환경에서 작동함으로써 RL의 "오프라인 제약"을 해결했습니다.

저자들은 메모리의 품질이 가변적(일부 메모리는 노이즈가 있음)이라는 점과 현재 검증기에 의존하는 방식이 필수적인 완화책이라는 점을 언급하며 한계를 인정했습니다. 또한 메모리 구성성(compositionality), 제거 전략(eviction strategies), 그리고 메모리 생성을 위한 고품질 샘플 식별 방법에 대한 후속 연구 과제를 남겼습니다. 그러나 이들은 ELM이 LLM이 자신의 추론 탐색 과정을 내재화하고 꾸준히 발전할 수 있는 실행 가능하고 효율적인 경로를 제공한다고 주장합니다.