기술 요약: SE-BENCH: 지식 내면화를 통한 자기 진화 벤치마킹

문제 정의

이 논문은 평생 학습을 위해 새로운 지식과 기술을 내면화하는 능력에 초점을 맞춘 자기 진화 에이전트 평가의 중요한 공백을 다룹니다. 기존 벤치마크는 일시적인 적응 (예: 추론 시간 정제 또는 반복적 자기 수정) 을 평가하지만, 에이전트가 경험으로부터 능동적으로 학습하여 매개변수를 영구적으로 업데이트하는 과정인 지식 내면화의 근본적인 능력을 엄격하게 측정하지는 못합니다.

기존 평가는 두 가지 근본적인 혼란 요인으로 고통받고 있습니다:

1. 기존 지식의 얽힘: 에이전트가 실험 중에 새로운 지식을 학습하여 해결했는지, 아니면 사전 학습 데이터에서 회상하여 해결했는지 구분하기 어렵습니다.
2. 추론 복잡성의 얽힘: 복잡한 작업에서의 실패는 모호합니다. 이는 필요한 지식을 내면화하지 못했기 때문일 수도 있고, 단순히 요구되는 추론의 논리적 난이도 때문일 수도 있습니다.

이를 해결하기 위해 저자들은 자기 진화를 위한 "허수 속의 바늘" 테스트를 주장합니다. 즉, 지식이 내면화되면 작업이 알고리즘적으로 단순해지지만, 그렇지 않으면 불가능한 환경을 말합니다.

방법론: SE-BENCH 구축

저자들은 NumPy 라이브러리를 ZWC라는 가상의 새로운 패키지로 은폐하도록 설계된 진단 환경인 SE-BENCH를 소개합니다. 구축 파이프라인은 세 단계로 구성됩니다:

1. 은폐:

   • 이름 변경: 268 개의 일반적인 NumPy 함수가 무작위로 할당된 의미 없는 식별자로 매핑됩니다 (예: numpy.mean $\rightarrow$ zwc.kocito).
   • 래퍼 구현: 모델이 하부 NumPy 배열에서 표준 메서드를 호출하여 은폐를 우회하는 것을 방지하기 위해 모든 입력과 출력을 감싸는 커스텀 ZWCArray 클래스가 구현됩니다.
   • 문서 재작성: API 문서가 LLM 에 의해 ZWC 패키지를 설명하도록 재작성되어, 논리는 표준 NumPy 와 동형 (isomorphic) 으로 유지되지만 구문은 낯설어지도록 합니다.

2. 질문 생성:

   • 단일 함수 작업: 라이브러리의 100% 를 보장하기 위해 정확히 하나의 특정 ZWC 함수가 해결에 필요한 문제들.
   • 다중 함수 작업: 단순 암기를 넘어선 일반화를 테스트하기 위해 샘플링된 세트에서 최소 세 개의 함수를 조합하여 해결해야 하는 복잡한 문제들.

3. 필터링:

   • 세 가지 최첨단 모델 (Qwen3-Coder, Gemini-2.5-Pro, GPT-OSS-120B) 을 사용한 엄격한 합의 프로토콜을 통해 작업이 검증됩니다. 모든 세 모델이 표준 NumPy 를 사용하여 해당 작업을 해결할 수 있을 때만 작업이 유지됩니다.
   • 명확성을 보장하기 위해 무작위 샘플에 대해 인간 검증이 수행됩니다.

평가 프로토콜:

• 학습 단계: 에이전트에게 문제 설명과 관련 ZWC API 문서가 제공됩니다.
• 테스트 단계: 에이전트에게 문제 설명 만 제공됩니다. 에이전트는 학습 중에 내면화된 지식에만 의존해야 합니다.
• 성공 지표: 솔루션이 모든 테스트 케이스를 통과하고, ZWC API 를 사용하며 (AST 분석을 통해 검증됨), 원래 NumPy 라이브러리의 임포트가 전혀 포함되지 않은 경우에만 정답으로 간주됩니다.

주요 기여 및 통찰

이 논문은 SE-BENCH 에서 다양한 자기 진화 전략 (메모리 기반, SFT, RL, 자기 플레이) 을 평가하여 도출된 세 가지 주요 통찰을 제시합니다:

1. 오픈북 역설

매개변수 업데이트 중 참조 문서가 존재하면 장기 기억이 억제됩니다.

• 결과: 궤적 수집과 학습 모두에서 문서가 존재하는 표준 지도 미세 조정 (Open-SFT) 은 문서가 없는 테스트 세트에서 0% 의 성능을 보입니다.
• 메커니즘: 학습 단계에서 문서를 제거 (Closed-SFT) 하면 모델이 컨텍스트에 의존하기보다 외부 논리를 가중치로 압축하도록 강제합니다. Closed-SFT 는 Open-SFT 보다 훨씬 우수한 성능을 보여주며, 진정한 내면화를 위해서는 최적화 과정에서 "정보 기아"가 필요함을 입증합니다.

2. RL 격차

표준 강화 학습 (RL) 은 Closed-Book 설정에서도 새로운 지식을 내면화하지 못합니다.

• 결과: Closed-RL 은 0% 의 성능을 보입니다.
• 메커니즘: 이 실패는 표준 RL (특히 PPO/GRPO) 의 두 가지 특정 메커니즘 때문입니다:
  • PPO 클리핑: 새로운 어휘 매핑 (예: np.mean $\rightarrow$ zwc.kocito) 을 학습하는 데 필요한 큰 확률 질량 이동을 방지합니다.
  • 음의 기울기: 정규화된 이득을 사용하는 것은 평균 이하의 응답에 대한 부정적 강화를 도입하여, 취약한 초기 암기 단계 동안 일시적인 연관성이 굳어지기 전에 이를 약화시킵니다.
• 하이브리드 성공: Closed-SFT 후 RL 을 적용하는 하이브리드 접근 방식이 최첨단 성능을 달성합니다. 여기서 SFT 는 근본적인 기억을 확립하고, RL 은 행동 최적화제로 작용하여 "게으른" 추측을 제거하고 실행의 엄격함을 개선하지만, 근본적인 기억 오류를 수정하지는 않습니다.

3. 자기 플레이의 타당성

자가 생성 데이터를 통한 자기 진화는 가능하지만, 최적화 메커니즘이 결정적입니다.

• 결과: 순수 RL 자기 플레이 (Absolute-Zero) 는 완전히 실패합니다 (0%). 그러나 자가 생성된 작업과 응답에 Closed-SFT를 적용 (Closed-SFTself) 하면 상당한 성능 (단일 함수 작업에서 22.5%) 을 보입니다.
• 시사점: 모델은 스스로를 가르칠 수 있는 유효한 커리큘럼을 생성할 수 있습니다. 표준 자기 플레이의 실패는 자기 플레이 패러다임 자체의 문제가 아니라, 지식 내면화에는 RL 이 적합하지 않기 때문입니다.

결과

• 베이스라인 성능: 식별자를 알려진 개념에 매핑하는 메모리 기반 방법 (Expel) 은 47.1% 까지 유의미한 결과를 달성했으나 완벽한 기억 유지에는 실패했습니다.
• 매개변수 최적화: Closed-SFT 와 하이브리드 Closed-SFT-RL 방법만이 성공했습니다. 다른 모든 매개변수 업데이트 방법 (Open-SFT, Open-RL, Closed-RL, Absolute-Zero) 은 완전히 실패했습니다.
• 일반화: 이러한 발견 (오픈북 역설 및 RL 격차) 은 다양한 모델 계열 (Qwen3 및 Llama3) 과 규모 (1.7B 에서 30B 매개변수) 에서 검증되었습니다.
• 오류 분석: RL 은 견고한 원시 연산으로의 대체를 장려함으로써 "속성 환각" (존재하지 않는 메서드 추측) 을 크게 줄였으나, "함수 환각" (잘못된 API 이름) 이나 "서명 불일치"는 수정하지 못했습니다. 이는 RL 이 지식 내면화자가 아닌 행동 최적화제로서의 역할을 확인시켜 줍니다.

중요성

이 논문은 SE-BENCH 를 자기 진화 에이전트 커뮤니티를 위한 엄격한 진단 플랫폼으로 위치시킵니다. 그 중요성은 다음과 같습니다:

1. 내면화 분리: 지식 내면화를 추론 복잡성과 기존 지식 누출로부터 분리할 수 있는 깨끗하고 통제된 환경을 제공합니다.
2. 진단 도구: 미래의 자기 진화 에이전트를 위한 "유닛 테스트" 역할을 하며, 에이전트가 복잡하고 개방형 진화를 신뢰받기 위해서는 SE-BENCH 를 통과해야 함을 시사합니다.
3. 메커니즘 통찰: RL 이 자기 개선의 보편적 해결책이라는 가정에 도전하며, 사실적 내면화에는 SFT 가 더 우수하고, 이미 내면화된 지식의 활용 최적화에는 RL 이 더 적합함을 보여줍니다.
4. 미래 연구: 지식 내면화의 근본 메커니즘을 연구하는 기반을 마련하여, AGI 개발을 위한 더 표적화된 하이브리드 알고리즘 설계에 지침을 제공할 수 있습니다.