🤖 machine learning

CLEANER: Self-Purified Trajectories Boost Agentic Reinforcement Learning

이 논문은 유사도 인지 적응형 롤백(Similarity-Aware Adaptive Rollback) 메커니즘을 통해 모델의 내재적 자기 수정 능력을 활용하여 오류 없는 훈련 궤적을 생성함으로써, 신용 할당 문제를 해결하고 매개변수 제약이 있는 에이전트 강화 학습(Agentic Reinforcement Learning)의 성능과 효율성을 크게 향상시키는 방법론인 CLEANER를 제안한다.

원저자: Tianshi Xu, Yuteng Chen, Meng Li

게시일 2026-07-07

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tianshi Xu, Yuteng Chen, Meng Li

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 어린 견습생(작은 AI 모델)에게 강력하지만 까다로운 도구인 '컴퓨터 코드 인터프리터'를 사용하여 복잡한 퍼즐을 푸는 법을 가르치고 있다고 상상해 보세요. 목표는 견습생이 코드를 작성하고, 실행하고, 정답을 얻어내는 것입니다.

하지만 문제가 있습니다. 견습생은 아직 배우는 단계이기 때문에 실수를 아주 많이 합니다. 그들은 코드가 충돌하여 컴퓨터가 길고 혼란스러운 에러 메시지를 쏟아내게 만드는 코드를 작성합니다. 표준적인 학습 설정에서는 견습생이 이 지저도한 에러 메시지들을 기억 속에 간직한 채, 이를 단계별로 수정하려고 노력합니다. 결국 정답을 찾아낼 수는 있겠지만, 그 과정은 노이즈와 혼란, 그리고 막다른 길로 가득 찬 경로가 됩니다.

이 논문은 이러한 "지저분한 경로"가 실제 학습 과정을 해치고 있다고 주장합니다. 견습생이 마침내 성공했을 때, 스승(학습 알고리즘)은 그 여정 전체에 대해 "잘했어"라는 보상을 줍니다. 이는 실수한 부분만큼이나 올바른 사고 과정도 똑같이 보상한다는 점에서 불공평합니다. 이는 마치 요리사가 수프로 맛을 망쳤지만 결국 숟가락으로 수습했을 때, 그 요리사에게 칭찬을 하는 것과 같습니다. 요리사는 나중에 고치기만 하면 무언가를 태워 먹어도 괜찮다는 것을 배우게 될 것입니다.

해결책: CLEANER (스스로 정화하는 요리사)

저자들은 CLEANER라고 불리는 새로운 방법을 제안합니다. 견습생이 자신의 실수로 가득한 기록을 계속 가지고 있게 하는 대신, CLEANER는 학습이 진행되는 동안 이야기를 편집하여 깨끗하게 만드는 스마트한 편집자 역할을 합니다.

작동 방식은 다음과 같은 창의적인 비유를 통해 설명할 수 있습니다.

1. "앗!" 하는 순간 (트리거)
견습생이 코드 한 줄을 작성하여 실행했는데, 컴퓨터가 "에러(ERROR)!"라고 비명을 지릅니다. 일반적인 수업이라면, 견습생은 이 에러를 자신의 노트에 그대로 적어 넣고 다시 시도할 것입니다.

2. "되감기" 버튼 (SAAR 메커니즘)
CLEANER가 즉시 개입합니다. 그것은 프로세스를 일시 중단하고 견습생에게 묻습니다: "좋아, 실수를 했구나. 지금 바로 고칠 수 있겠니?" 견습생은 다시 시도하고 성공합니다.

3. "편집" (유사성 인지 적응형 롤백)
이 부분이 마법 같은 부분입니다. CLEANER는 실수와 그 수정 사항을 살펴보고 노트를 어떻게 정리할지 결정합니다.

시나리오 A (오타): 만약 수정 사항이 아주 작은 변화(예: 누락된 쉼표를 고치는 것)라면, CLEANER는 견습생의 사고 과정 자체는 훌륭했으나 단지 오타가 발생했다고 가정합니다. 그리고 에러와 수정 사항을 조용히 지우고, 지저분한 코드를 깨끗하고 올ের된 코드로 대체합니다. 이제 노트에는 매끄럽고 성공적인 사고 과정이 남게 됩니다.
시나리오 B (논리적 결함): 만약 수정 사항이 원래의 시도와 완전히 다르다면(예: 접근 방식 자체가 틀렸음을 깨달은 경우), CLEANER는 원래의 사고 과정에 결함이 있었다는 것을 압니다. 따라서 잘못된 시도 전체와 에러 메시지를 지우고, 새로운 올바른 추론 과정을 담은 코드로 대체합니다.

4. 결과: "정화된" 궤적
학습이 끝날 때쯤, 견습생은 자신의 작업물에 담긴 지저분하고 에러로 가득한 버전들을 전혀 "본 적이 없게" 됩니다. 그들은 오직 "스스로 정화된" 이야기, 즉 문제를 처음부터 올바르게 해결했거나(혹은 흔적을 남기지 않고 즉시 수정했거나) 하는 과정만을 학습하게 됩니다.

이것이 왜 중요한가

노이즈 감소, 학습 효율 증대: 견습생이 에러의 역사에 의해 방해받지 않기 때문에, 올바른 논리를 훨씬 더 빠르게 학습합니다.
효율성: 이 논문은 이 방법이 믿을 수 없을 정도로 효율적이라고 주장합니다. 저자들은 작은 AI 모델을 훨씬 더 크고 비싼 모델만큼 성능이 좋게 학습시켰는데, 이때 단 3분의 1의 학습 단계만을 사용했습니다. 이는 마치 숙련된 요리사의 기술을 1년이 아닌 3개월 만에 습득하는 것과 같습니다.
더 나은 결과: 어려운 수학 및 코딩 테스트(AIME 및 LiveCodeBench 등)에서 이 방법은 표준 방식에 비해 정확도를 약 3%에서 6% 정도 향상시켰습니다.

요약하자면

표준적인 학습을 지우고, 낙서가 되어 있고, 얼룩지고, 혼란스러운 글씨로 가득 찬 화이트보드 위에서 연습하는 것이라고 생각해보세요. CLEANER는 얼룩을 즉시 지워주는 마법의 지우개와 같아서, 오직 해결책의 완벽하고 명확한 단계들만을 남겨둡니다. 이를 통해 학생은 자신이 처음에 시도했던 '틀린 방식'에 혼란을 느끼는 대신, '올바른 방식'을 내면화할 수 있습니다.

기술 요약: CLEANER – 에이전트 강화 학습의 성능을 높이는 자기 정제 궤적 (Self-Purified Trajectories)

1. 문제 정의

본 논문은 파이썬 인터프리터와 같은 도구를 사용하는 매개변수 제약 모델(예: 4B–7B 파라미터)을 위한 **에이전트 강화 학습(Agentic Reinforcement Learning, RL)**에서 발생하는 결정적인 병목 현상을 다룹니다. 도구 사용은 복잡한 문제 해결을 가능하게 하지만, 탐색(exploration) 단계는 빈번한 실행 실패로 인해 고통받습니다. 이러한 실패는 유효하지 않은 코드와 장황한 트레이스백(traceback)을 포함하는 "노이즈가 섞인 궤적(noisy trajectories)"을 생성하여 컨텍스트 창을 오염시킵니다.

표준적인 결과 기반 보상 설정(예: GRPO - Group Relative Policy Optimization) 하에서는, 중간 과정의 오류와 상관없이 최종 성공 시 전체 궤적에 일괄적으로 양의 보상이 부여됩니다. 이는 다음과 같은 **신용 할당 딜레마(credit assignment dilemma)**를 야기합니다:

노이즈 오염: 잘못된 행동과 그에 따른 "오류 → 피드백 → 재시도" 루프가 성공적인 추론과 함께 부적절하게 강화됩니다.
의미적 간섭: 모델이 결정을 재정립(re-grounding)하는 대신 잘못된 실행 경로를 합리화하는 법을 배우게 되어, 정책 불안정성과 성능 저하를 초래합니다.
기존 전략의 한계: 현재의 완화 전략들은 트레이드오프에 직면해 있습니다. 조밀한 보상(dense rewards)을 할당하는 것은 "보상 해킹(reward hacking)"(최종 결과보다 중간 지표를 최적화하는 현상)을 유발할 수 있으며, 슈퍼샘플링(품질 필터링을 위해 여러 후보를 생성하는 것)은 롤아웃 단계가 RL 학습 시간을 지배하기 때문에 과도한 계산 비용을 발생시킵니다.

2. 방법론: CLEANER 및 SAAR

저자들은 외부 필터링이나 샘플링 증가에 의존하는 대신, 데이터 수집 단계에서 직접 오류가 섞인 컨텍스트를 제거함으로써 에이전트 RL을 향상시키는 프레임워크인 CLEANER를 제안합니다. 핵심 메커니즘은 **의미 유사도 기반 적응형 롤백(Similarity-Aware Adaptive Rollback, SAAR)**입니다.

SAAR 메커니즘

SAAR는 실행 오류( $o^-$ )가 발생했을 때 롤아웃 단계에서 작동합니다. 시스템은 오류를 히스토리에 영구적으로 기록하는 대신, "자기 정제된(self-purified)" 궤적을 구축하기 위해 2단계 프로세스를 시작합니다.

1단계: 오류 트리거 및 룩어헤드 교정 (Error Trigger and Lookahead Correction)
- 오류 발생 시, 현재 상태를 동결합니다.
- 모델은 증강된 컨텍스트(오류 트레이스 포함)를 바탕으로 교정된 코드( $c'_t$ )와 보조 추론 트레이스( $r'_{aux}$ )를 생성하도록 프롬프트됩니다.
- 교정이 성공하면 2단계로 진행합니다.
2단계: 의미 유사도 기반 적응형 교체 (Similarity-Aware Adaptive Replacement)
- SAAR는 유사도 함수(예: difflib.SequenceMatcher)를 사용하여 오류가 있는 코드( $c_t$ )와 교정된 코드( $c'_t$ ) 사이의 의미적 유사도를 계산합니다.
- 사례 A: 구현 수준의 수선 (높은 유사도): 유사도가 임계값 $\gamma$ 보다 높으면, 해당 오류를 표면적인 것(예: 구문 오타)으로 간주합니다. 시스템은 **얕은 교체(shallow replacement)**를 수행하여, 오류 튜플을 버리고 교정된 코드를 원래의 추론에 직접 접합합니다.
- 사례 B: 추론 수준의 수선 (낮은 유사도): 유사도가 낮으면, 해당 오류가 깊은 논리적 결함을 나타냄을 의미합니다. 시스템은 **깊은 교체(deep replacement)**를 수행하여, 실패한 턴 전체(추론 + 코드 + 오류)를 제거하고 이를 보조 추론 및 교정된 코드로 대체하여 의미적 일관성을 유지합니다.

구현 세부 사항

로짓 재계산 (Logit Recomputation): 정책 업데이트가 올바른 인과 경로에 근거하도록 하기 위해, 시스템은 (오류가 증강된 컨텍스트가 아닌) 정제된 컨텍스트 하에서 교정된 행동에 대한 로그 확률을 재계산합니다. 이는 불변하는 히스토리 접두사에 대해 KV 캐시를 재사용하는 RadixAttention(SGLang을 통해 구현)을 사용하여 효율적으로 수행됩니다.
커리큘럼 믹싱 (Curriculum Mixing): 오류 회피 능력과 모델의 본질적인 자기 교정 능력 사이의 균형을 맞추기 위해, 학습 파이프라인은 70%의 궤적에는 SAAR를 무작위로 적용하고 나머지 30%는 원래 상태 그대로 유지합니다.

3. 주요 기여

본 논문은 네 가지 주요 기여를 설명합니다:

CLEANER 프레임워크: 자기 정제된 궤적을 통해 학습함으로써 에이전트 RL의 신용 할당 딜레마를 해결하고, 모델이 실행 노이즈를 필터링하면서 올바른 추론 패턴을 내재화할 수 있도록 하는 새로운 접근 방식입니다.
SAAR 메커니즘: 계산 비용이 높은 슈퍼샘플링 없이도, 실패를 적응적으로 수선(구문 오타부터 논리적 결함까지)하여 깨끗한 신호를 구축하는 자율적인 방법입니다.
효율성 및 성능: CLEANER가 SOTA 모델과 대등한 성능을 보이면서도 훨씬 더 높은 효율성을 달성함을 입증하며, SOTA 대비 3분의 1의 학습 단계만 필요함을 보여줍니다.
재현성: 코드, 환경 설정, 처리된 데이터셋을 포함한 완전한 재현 가능한 학습 파이프라인을 제공합니다.

4. 실험 결과

저자들은 Qwen3-4B-Instruct와 Qwen2.5-7B-Instruct를 베이스 모델로 사용하여 AIME24/25, GPQA, LiveCodeBench에서 CLEANER를 평가했습니다.

성능 향상: 베이스라인과 비교하여 CLEANER는 다음과 같은 평균 정확도 상승을 달abet했습니다:
- AIME (Pass@1)에서 6%
- GPQA에서 3%
- LiveCodeBench에서 5%
효율성: CLEANER는 SOTA 베이스라인인 DemyAgent-4B의 성능을 달성하면서도 단 3분의 1의 학습 단계(750 단계 대비 250 단계)만을 활용했습니다.
오류 억제: 학습 지표는 오류가 있는 도구 호출의 일관된 억제를 보여주었으며, 감소된 도구 실패율과 향상된 통과율(pass rates) 사이의 명확한 상관관계를 나타냈습니다.
절제 연구 (Ablation Studies):
- 도구의 필요성: 코드 인터프리터를 통합했을 때 성능이 크게 향상되었습니다 (예: 수학/코딩 작업에서 Qwen2.5-7B 기준 +20%).
- 궤적 정제: SAAR 메커니즘은 모든 벤치마크와 모델 규모에서 일관된 이득을 제공했습니다.
- 내재화: 추론 시 SAAR를 비활성화했을 때 성능 저하는 미미했습니다 (예: AIME24 Pass@1에서 <1% 하락). 이는 모델이 메커니즘을 스캐폴드(scaffold)로 사용하는 것이 아니라, 오류 회피 로직을 내재화했음을 확인시켜 줍니다.
- 회복: 부적절하고 불안정한 베이스라인(200 단계 시점)에 CLEANER를 도입했을 때 학습이 안정화되고 정확도가 향 향상되었으나, 처음부터 SAAR로 학습된 모델의 성능에는 완전히 도달하지 못했습니다.

5. 의의 및 주장

본 논문은 CLEANER가 "더 많은 데이터"(슈퍼샘플링)에서 "더 깨끗한 데이터"(궤적 정제)로 초점을 전환함으로써 효율적인 에이전트 RL을 위한 확장 가능한 솔루션을 제공한다고 주장합니다.

확장성: 값비싼 슈퍼샘플링의 필요성을 제거함으로써, 이 방법은 자원이 제한된 환경에서도 고품질의 에이전트 RL을 가능하게 합니다.
학습 신호 정렬: 이 방법은 학습 신호를 올바른 행동과 일치시켜, 오류-복구 루프의 강화를 방지하고 모델이 견고한 도구 사용 패턴을 내재화할 수 있도록 합니다.
일반성: 결과는 작은 모델(4B)이 궤적 정제와 결합된 맞춤형 사후 학습을 거칠 때, 에이전트 추론 작업에서 훨씬 더 큰 모델(예: 72B 또는 671B)에 필적하는 능력을 갖출 수 있음을 시사합니다.

저자들은 궤적 정제가 도구 증강 LLM 에이전트의 효율성과 성능을 높이기 위한 핵심적이고 확장 가능한 대안이라고 결론짓습니다.