기술 요약: 평생 LLM 에이전트 적응에서의 능력 저하와 보존

문제 정의: 자가 진화 에이전트에서의 능력 침식

최근 프레임워크들은 대규모 언어 모델 (LLM) 에이전트가 추론 워크플로우를 자율적으로 정제하고, 재사용 가능한 기술을 축적하며, 기본 모델 파라미터를 업데이트하고, 영구적인 메모리를 유지할 수 있도록 했습니다. 이러한 시스템들이 에이전트의 역량이 지속적으로 확장되는 미래를 약속하지만, 본 논문은 근본적인 실패 모드를 식별합니다: 자가 진화 하에서의 능력 침식.

저자들은 자가 진화가 종종 비단조적임을 입증합니다. 에이전트가 새로운 작업 분포 ($Y$) 에 적응할 때, $Y$ 를 최적화하는 과정은 종종 이전 작업 분포 ($X$) 에 대해 획득했던 이전 능력을 저하시킵니다. 이 현상은 구조적으로 세 가지 차원에서 나타납니다:

1. 후방 능력 감퇴: 새로운 작업을 위한 미세 조정 또는 업데이트 후, 이전에 숙달되었던 작업들의 성능이 하락합니다.
2. 행동 정책 편차: 워크플로우가 불필요하게 복잡하고 비대해지며, 이전 성공적인 행동에는 존재하지 않았던 노이즈와 실행 단계가 도입됩니다.
3. 일반화 침식: 적응이 유효한 추론 공간을 축소시켜, 이전에 획득한 기술이나 메모리 검색 패턴을 방해합니다.

본 논문은 이것이 특정 알고리즘의 실패가 아니라 제약 없는 지속적인 자가 수정의 구조적 결과라고 주장합니다. 변경 가능한 저장소가 워크플로우 그래프, 기술 뱅크, 모델 파라미터, 또는 메모리 스토어이든, 오직 현재 작업 분포만을 최적화하는 것은 파괴적인 간섭을 초래하여 이전 작업에서 성공적인 행동을 지원했던 구조들을 덮어쓰거나 저하시킵니다.

방법론: 능력 보존 진화 (CPE)

이를 해결하기 위해 저자들은 **능력 보존 진화 (Capability-Preserving Evolution, CPE)**라는 일반적인 안정화 원칙을 제안합니다. CPE 는 명시적인 유지 정규화항을 포함하도록 표준 자가 진화 목적 함수를 수정합니다.

이론적 프레임워크

저자들은 에이전트가 새로운 분포 $D_t$에 대한 손실을 최소화하기 위해 능력 상태 $R_t$를 업데이트하는 순차적 과정으로서 자가 진화를 모델링합니다. 단순한 진화는 오직 현재 손실 $L_t(R)$만을 최소화합니다. 반면 CPE 는 다음을 풉니다:
$$R^{CPE}_t \in \arg \min_{R \in \mathcal{R}} L_t(R) + \lambda \Omega_t(R, R_{t-1})$$
여기서 $\Omega_t$는 이전 능력 지원 구조로부터의 편차를 측정하며, $\lambda$는 안정성 - 가소성 트레이드오프를 제어합니다.

국소 분석 (제안서 1 및 2) 은 단순한 업데이트가 이전 작업에 대한 고곡률 (민감도) 방향과 업데이트 방향이 겹칠 때마다 유지된 위험을 증가시킨다는 것을 보여줍니다. CPE 는 이러한 민감한 방향을 따라 업데이트하는 것을 패널티로 부과함으로써 이를 억제하여, 에이전트가 이전 작업에 필요한 "능력 지원"을 파괴하지 않으면서 새로운 분포 쪽으로 이동하도록 효과적으로 제약합니다.

차원별 구체화

본 논문은 각기 다른 정규화항을 갖춘 네 가지 distinct 진화 채널에 걸쳐 CPE 를 구현합니다:

1. 워크플로우 진화:
   • 저장소: 실행 가능한 워크플로우 그래프/프롬프트 프로그램.
   • 메커니즘: 정규화항 $\Omega_{wf}$는 시드 워크플로우에서 추출된 "앵커 행동 서명"으로부터의 편차를 억제합니다. 이는 단순 작업 성능을 저하시키는 과도하게 복잡한 검증 단계와 구조적 우회로의 축적을 방지합니다.
2. 기술/도구 진화:
   • 저장소: 절차적 템플릿의 유한 용량 기술 뱅크.
   • 메커니즘: 정규화항 $\Omega_{sk}$는 용량 제한으로 인해 유용한 기술이 추방되는 것을 방지합니다. 이는 의미적으로 관련된 기술을 병합하고 새로운 기술이 수용될 때 고유틸리티 역사적 항목이 직접 삭제되는 것을 보호하는 능력 보존 통합을 사용합니다.
3. 모델 진화:
   • 저장소: 학습 가능한 모델 파라미터 (예: LoRA 어댑터).
   • 메커니즘: 정규화항 $\Omega_{md}$는 탄성 가중치 통합 (EWC) 스타일 패널티를 사용합니다. 이는 이전 도메인에 대한 파라미터 중요도 (피셔 정보를 통해) 를 추정하고 해당 방향을 따라 움직이는 것을 패널티로 부과하여, 중요도가 낮은 방향에서만 적응을 허용합니다.
4. 메모리 진화:
   • 저장소: 영구 외부 메모리 뱅크.
   • 메커니즘: 정규화항 $\Omega_{mem}$은 증거 게이트 보존을 사용합니다. 반복적인 자기 검증 지원을 축적한 메모리는 안정적으로 간주되어 추방이나 파괴적 재작성으로부터 보호되며, 증거가 낮은 항목은 적응 가능하게 유지됩니다.

주요 결과

저자들은 GPT-5.1, GPT-5 nano, GPT-4o mini, Qwen3-0.6B, Llama3.2-3B 를 포함한 여러 모델 백본에 걸쳐 네 가지 주요 벤치마크에서 CPE 를 제약 없는 ("Vanilla") 자가 진화와 비교 평가했습니다.

• 워크플로우 진화 ($\tau^2$-Bench 의 EvoAgentX):
  • Vanilla 진화는 워크플로우를 비대하게 만들었으며 단순 작업 성능을 하락시켰습니다 (예: GPT-5.1 을 사용한 항공사 작업에서 57.1% 에서 41.8% 로 하락).
  • CPE 는 더 컴팩트한 실행 구조를 유지하여 유지된 단순 작업 성능을 **52.8%**로 향상시키면서 복잡 작업 적응을 유지하거나 개선했습니다.
• 기술 진화 (MATH 의 MemSkill):
  • Vanilla 진화는 분포가 정수론으로 이동함에 따라 이전 기술 (예: 기하학) 을 점진적으로 덮어썼으며, 이로 인해 대수와 기하학 평가 세트에서 지속적인 저하가 발생했습니다.
  • CPE 는 이전 기술의 안정적인 활용을 유지하여 모든 순차 도메인에서 더 높은 유지 정확도를 달성했습니다 (예: GPT-5 nano 를 사용한 기하학 정확도가 58.9% 에서 59.3% 로 향상).
• 모델 진화 (MedMCQA 의 STaR):
  • Vanilla 자기 훈련은 모델이 새로운 도메인에 적응함에 따라 이전 의학 도메인 (해부학, 생화학) 에서 치명적인 망각을 보였습니다.
  • CPE 는 모든 도메인과 모델 크기에서 유지된 정확도를 일관되게 향상시켰습니다 (예: Qwen3-0.6B 에서 해부학 정확도가 29.4% 에서 30.5% 로 상승).
• 메모리 진화 (Dynamic Cheatsheet):
  • 제약 없는 메모리 업데이트는 평균 2.3% 만큼 이전 작업 유지를 저하시켰습니다.
  • CPE 는 이 유지 격차를 **0.7%**로 줄여 새로운 작업 적응을 방해하지 않으면서 이전에 학습된 도메인에 대한 검색 패턴을 안정화했습니다.

중요성과 주장

본 논문은 워크플로우, 기술, 모델, 메모리 등 자가 진화 에이전트의 모든 주요 차원에 걸쳐 능력 침식을 구조적 실패 모드로 체계적으로 식별한 최초의 연구라고 주장합니다.

• 통합적 관점: 저자들은 이질적인 구현에도 불구하고 네 가지 차원 모두 동일한 메커니즘, 즉 새로운 작업을 최적화하는 것이 이전 작업을 지원하는 구조를 덮어쓴다는 동일한 간섭 관점을 제공합니다.
• 안정화 원칙: 본 논문은 안정적인 장기 자가 진화는 새로운 능력을 획득하는 것뿐만 아니라 이전에 학습된 것을 명시적으로 보존하는 것을 필요로 한다고 주장합니다. CPE 는 이를 달성하기 위한 일반적인 설계 원칙으로 제시됩니다.
• 겸손한 범위: 저자들은 현재 보존 메커니즘이 경량화되고 도메인 특화적임을 인정합니다. 이 작업을 모든 미래 자율 에이전트 과제를 위한 완전한 해결책이라기보다는 침식 현상의 검증과 명시적 정규화가 이를 완화할 수 있음을 보여주는 시도로 규정합니다. 그들은 실제 세계 에이전트는 여기서 테스트된 통제된 순차적 이동보다 더 복잡하고 개방형 궤적을 마주할 수 있음을 지적합니다.

결론적으로, 본 논문은 명시적 보존 제약 없이는 자가 진화 에이전트가 필연적으로 신뢰할 수 있는 행동에서 이탈하게 되며, 능력 보존 진화는 진정한 평생 학습이 가능한 에이전트를 구축하기 위한 필수 구성 요소라고 주장합니다.