기술 요약: SKILLC – 대조적 신용 할당을 통한 LLM 에이전트의 자율적 기술 내재화 학습

1. 문제 제기: 내재화 맹점

구조화된 기술 프롬프트는 장기 에이전트 강화 학습 (RL) 에서 탐험과 샘플 효율성을 향상시키는 실용적인 메커니즘으로 자리 잡았습니다. 그러나 현재 접근법에는 이분법이 존재합니다:

• 기술 증강 RL: 추론 시 외부 기술을 유지하며, 런타임 기술 지원을 통해 성능을 최적화하는 방법.
• 기술 내재화 RL: 훈련 중 기술을 제거하여 자율적 수행을 가능하게 하지만, "내재화 맹점"이라고 불리는 치명적인 최적화 불일치로 고통받는 방법 (예: SKILL0).

기존 내재화 프레임워크에서 정책 업데이트 (예: GRPO 를 통한) 는 단일 프롬프트 조건 하에서 작업에 대한 모든 롤아웃을 생성합니다. 결과적으로 기울기는 진정한 자율적인 성공과 단순히 기술에 의존하는 성공을 구별할 수 없습니다. 커리큘럼이 기술이 전역적으로 유용하다는 것을 알고 있더라도, 정책 업데이트는 기술이 없는 상태가 아닌 현재 체제 하에서의 성공을 강화하여, 에이전트가 기술 없이 성공하도록 유도하지 못합니다. 이는 훈련 단계 동안 정책이 자율적으로 성공하는 것을 학습하는 것을 방해하며, "기술 있음"과 "기술 없음" 성능 간의 지속적인 격차를 초래합니다. 이 격차는 (만약 있다면) 하드 커리큘럼 전환 후에야 비로소 해소됩니다.

2. 방법론: SKILLC 프레임워크

저자들은 **대조적 기술 신용 할당 (CSCA)**을 기반으로 한 SKILLC 프레임워크를 제안합니다. SKILLC 는 기술 주입 성능과 기술 없는 성능 간의 대비를 직접적인 학습 신호로 변환하여 내재화 맹점을 해결합니다. 이 프레임워크는 세 가지 조율된 메커니즘을 통해 작동합니다:

A. 쌍대 대조적 롤아웃

활성 기술 세트 내의 작업에 대해 SKILLC 는 동일한 정책 업데이트 내에서 쌍대 롤아웃을 샘플링합니다:

• 기술 주입 ($\tau^+$): 기술 프롬프트 ($z=1$) 와 함께 생성됨.
• 기술 없음 ($\tau^-$): 기술 프롬프트 없이 생성됨 ($z=0$).
  두 경우 모두 동일한 정책 매개변수 $\pi_\theta$를 사용하며, 이는 자기 대조적 설계를 생성합니다. 이를 통해 시스템은 작업 수준 대조 격차 $\Delta(x) = E[R|x, z=1] - E[R|x, z=0]$를 측정할 수 있습니다. 양의 격차는 기술 의존성을 나타내고, 0 에 가까운 격차는 내재화를 나타냅니다.

B. 듀얼 스트림 이점 추정기

이러한 대비를 최적화에 주입하면서 글로벌 순위 왜곡을 방지하기 위해 SKILLC 는 듀얼 스트림 이점 추정기를 사용합니다:

1. 스트림 1 (글로벌 순위): 배치 내 모든 트래젝토리의 평균과 분산을 사용하여 표준 그룹 상대 이점을 유지합니다.
2. 스트림 2 (내재화 압력): 대조 격차에 기반한 일측 보정을 적용합니다.
   • 기술 주입 트래젝토리 ($z=1$) 의 경우, 이점은 보정항 $C(x)$로 하향 가중됩니다.
   • 기술 없음 트래젝토리 ($z=0$) 의 경우, 이점은 $C(x)$로 상향 가중됩니다.
   • 보정 크기 $C(x)$는 추정된 격차 $\hat{\Delta}(x)$와 귀속 강도 $\lambda$에 비례합니다.
     이 메커니즘은 에이전트가 여전히 학습 중인 동안, 커리큘럼 전환을 기다리는 대신 자율적 성공("기술 지원 없이 성공") 으로 신용을 명시적으로 재지향합니다.

C. 내재화 인식 커리큘럼

부드럽게 조정된 검증 수준 신호는 세 가지 하이퍼파라미터를 동적으로 제어하는 적응형 커리큘럼을 구동합니다:

1. 귀속 강도 ($\lambda$): 대조적 보정을 스케일링합니다.
2. 롤아웃 할당 ($\rho$): 기술 주입 대 기술 없는 롤아웃의 비율을 조정합니다.
3. 활성 기술 세트 가지치기: 검증 격차 $\bar{\Delta}_{val}$이 임계값 아래로 떨어지는 기술 유형을 단조롭게 은퇴시킵니다.
   고정된 일정 기반 방법과 달리, 이 커리큘럼은 데이터 기반이며 내재화의 실제 측정된 진행 상황에 반응합니다.

3. 주요 기여

1. 내재화 맹점의 식별: 이 논문은 고정된 일정의 내재화가 실패하는 이유를 규명합니다. 모든 롤아웃이 단일 프롬프트 조건을 공유할 때, 표준 정책 기울기는 자율적 성공과 기술 의존적 성공을 구별할 수 없기 때문입니다.
2. SKILLC 프레임워크: 저자들은 쌍대 대조적 롤아웃과 듀얼 스트림 이점 추정기를 활용하여 내재화 격차를 모든 기울기 단계 내에서 관찰 가능하고 실행 가능하게 만드는 해결책을 제안합니다.
3. 적응형 커리큘럼: 귀속 강도, 롤아웃 예산, 기술 은퇴를 공동으로 조절하는 검증 기반 메커니즘으로, 기술 제거가 실제 에이전트 능력과 일치하도록 보장합니다.
4. 적용 가능성의 비판적 특성화: 이 논문은 CSCA 의 효과성이 신호 품질에 의존한다는 세밀한 분석을 제공합니다. 강력한 대조적 신호는 상당한 향상 (예: ALFWorld 의 "Pick2" 작업에서 +33.4%) 을 가져오는 반면, 천장 효과 작업에서의 약한 신호는 성능 후퇴를 초래할 수 있습니다.

4. 실험 결과

실험은 Qwen2.5-7B-Instruct 기본 모델을 사용하여 ALFWorld(텍스트 기반 가사 작업) 와 WebShop(온라인 쇼핑) 에서 수행되었습니다.

• 성능 향상: 런타임 기술 접근 없이 SKILLC 는 ALFWorld 에서 85.9% $\to$ 90.6% (5.5% 향상), WebShop 에서 70.9% $\to$ 74.0% (4.4% 향상) 로, 가장 강력한 기존 기술 내재화 기준선 (SKILL0) 을 능가합니다.
• 경쟁력: SKILLC 는 추론 시 기술을 유지하는 기술 증강 방법과 경쟁력을 유지합니다. ALFWorld 에서 SKILLC 는 추론 중 기술 접근이 없음에도 불구하고 기술 증강 방법인 D2Skill 과 동등한 성능을 보입니다.
• 절차 제거 연구:
  • 쌍대 롤아웃 제거 (단일 조건 업데이트) 는 성능을 3.3% 하락시킵니다.
  • 듀얼 스트림 정규화를 혼합 정규화로 대체하면 성능이 2.2% 하락합니다.
  • 커리큘럼 게이트를 고정하거나 가지치기를 제거하면 작지만 일관된 성능 하락이 발생합니다.
• 훈련 역학: SKILL0 는 하드 전환까지 기술 있음과 기술 없음 성공률 사이에 큰 격차를 유지하는 반면, SKILLC 는 이 격차가 단조롭게 감소하여 훈련 중반에 0 을 교차함을 보여줍니다. 이는 정책이 수동적 전이에 의존하는 것이 아니라 지속적으로 자율성을 학습하고 있음을 확인시켜 줍니다.

5. 중요성과 주장

이 논문은 SKILLC 가 현재 에이전트 RL 의 근본적인 한계인, 기술이 존재할 때 훈련 과정 중 자율성을 최적화할 수 없는 문제를 해결한다고 주장합니다. 기술의 "유용성"을 자율적 성공을 위한 직접적인 신용 할당 신호로 변환함으로써, SKILLC 는 이전 방법들에 내재된 "내재화 맹점"을 제거합니다.

저자들은 그들의 접근 방식이 근본적인 정책 최적화 프레임워크 (GRPO) 를 변경하는 것이 아니라 신용 할당 메커니즘을 수정한다는 점을 강조합니다. 그 중요성은 기술 검색의 런타임 오버헤드 없이 기술 증강 방법과 경쟁하는 자율적 성능을 달성하면서도, 기술 은퇴를 위한 데이터 기반 적응형 메커니즘을 제공한다는 데 있습니다.

인정된 한계:
이 논문은 SKILLC 가 고정된 사전 정의된 기술 인벤토리에 의존하며, 동적인 기술 관련성을 가진 오픈 엔디드 환경에서는 어려움을 겪을 수 있음을 지적합니다. 또한, 이 방법은 초기 훈련 중 쌍대 샘플링으로 인해 약 26% 의 계산 오버헤드를 발생시키지만, 기술이 은퇴됨에 따라 이는 감소합니다. 이 방법의 효과성은 또한 대조적 신호의 품질에 달려 있으며, 성능이 이미 천장에 근접한 작업에서는 추가적인 내재화를 유도하기에 신호가 너무 약할 수 있습니다.