기술 요약: CARL (역량 인식 강화 학습)

1. 문제 제기

검색 엔진, 계산기 등 도구를 갖춘 대규모 언어 모델 (LLM) 은 외부 지원이 필요한 작업과 파라미터 지식으로 해결 가능한 작업을 구분하지 못하는 경우가 많습니다. 인간은 $2+2$와 같은 계산은 계산기가 필요하지 않지만 $347 \times 28$은 필요하다는 식으로 자신의 지식 한계를 자연스럽게 인식하지만, LLM 은 일반적으로 이를 하지 못합니다.

기존 접근법은 두 가지 주요 한계에 직면해 있습니다:

• 프롬프트 기반 방법 (예: ReAct, RAG): 이러한 방법들은 추론 시 모델에게 도구 사용을 지시하지만, 모델이 언제 도구가 필요한지 인식하도록 훈련시키지는 않습니다. 결과적으로 모델은 정확도를 높이지 못한 채 불필요하게 도구를 호출하여 지연 시간과 비용을 증가시킵니다.
• 궤적 수준 강화 학습 (RL): 현재 RL 방법들 (예: Search-R1) 은 전체 궤적에 단일 결과 보상 (예: 정확 일치) 을 할당합니다. 이는 신용 할당 문제를 야기합니다:
  • 무차별적 강화: 성공적인 궤적에서 도움이 되는 도구 호출과 불필요하거나 오류가 있는 호출 모두 긍정적인 강화를 받습니다.
  • 선택성 부족: 최종 성공 신호가 모든 세그먼트에 공유되므로, 모델은 쉬운 질문에서 도구 사용을 건너뛰는 법을 배울 수 없습니다.
  • 외부 의존성: 단계별 신용 할당 방법은 종종 학생 모델의 지식과 다를 수 있는 외부 판정자 (예: GPT-4) 에 의존하거나, 비용이 많이 드는 단계별 주석이 필요합니다.

2. 방법론: CARL

저자들은 **CARL(역량 인식 강화 학습)**을 제안합니다. 이는 모델의 자체 역량 경계를 학습하는 크리틱 (critic) 을 훈련시켜 외부 판정자 없이 세밀한 신용 할당을 가능하게 하는 프레임워크입니다.

2.1 구조적 분해

CARL 은 도구 사용 궤적이 순수 추론 궤적에는 없는 구조적으로 관찰 가능한 경계를 가진다는 사실에 기반합니다. 궤적은 이러한 경계를 기반으로 세그먼트로 분해됩니다:

1. 호출 (Invoke): 모델이 추론과 코드 블록 (예: search(query)) 을 생성합니다. 환경이 코드를 실행하여 원시 출력 (stdout) 을 생성합니다.
2. 동화 (Assimilate): 모델이 원시 출력을 읽고 <context> 블록을 생성하여 관련 정보를 추출합니다. 원시 출력은 컨텍스트에서 이 추출물로 대체됩니다.
3. 확정 (Commit): 모델이 최종 답변을 생성합니다.

이 분해는 각 세그먼트를 "옵션"으로 하는 **준 마코프 결정 과정 (SMDP)**을 생성합니다.

2.2 세그먼트 수준 이점

CARL 은 전체 궤적에 단일 스칼라 보상을 할당하는 대신, 단일 이진 종료 보상 ($R \in \{0, 1\}$) 에서 SMDP 벨만 방정식을 사용하여 세그먼트별 이점을 도출합니다.

$k=0 \dots N$인 세그먼트를 가진 궤적에 대해, 세그먼트 $k$의 이점은 다음과 같습니다:

• 중간 세그먼트: $A(seg_k) = V_\phi(s_{k+1}) - V_\phi(s_k)$
• 최종 세그먼트: $A(seg_N) = R - V_\phi(s_N)$

여기서 $V_\phi(s)$는 현재 컨텍스트를 기반으로 성공 확률을 추정하는 가치 함수 (크리틱) 입니다.

• 메커니즘: "좋은" 검색은 성공 확률 추정치 ($V$) 를 높여 양의 이점을 생성합니다. "나쁜" 검색이나 실패한 추출은 $V$를 낮춰 음의 이점을 생성합니다. 모델이 이미 알고 있는 질문에 불필요한 검색을 수행하면 $V$가 변하지 않아 거의 0 에 가까운 이점을 생성합니다.
• 주요 차이점: 이는 동일한 궤적 내에서 상반된 부호 (예: 올바른 쿼리에 대한 양의 이점 뒤이어 나쁜 추출에 대한 음의 이점) 를 허용하며, 이는 궤적 수준 방법에는 없는 기능입니다.

2.3 크리틱 훈련 및 워밍업

크리틱 $V_\phi$는 공유된 LLM 백본에 연결된 2 층 MLP 입니다.

• 훈련 목표: 크리틱은 $V_\phi(s)$와 종료 보상 $R$ 사이의 평균 제곱 오차 (MSE) 를 최소화하기 위해 몬테카를로 (MC) 목표를 통해 훈련됩니다.
• 워밍업 단계: 초기 무작위 기울기가 정책을 손상시키는 것을 방지하기 위해 선별된 워밍업 단계가 필수적입니다. 크리틱은 최종 정확도로 라벨링된 베이스 모델 롤아웃으로 훈련됩니다. 질문은 다음과 같이 분류됩니다:
  • 티어 1: 파라미터 역량 밖 (모델이 도구 없이는 실패함).
  • 티어 2: 파라미터 역량 내 (모델이 도구 없이 성공함).
  • "강제 도구" 및 "도구 없음" 조건 하에서 궤적을 생성하여 크리틱이 필요하고 불필요한 도구 사용을 구분하도록 훈련시킵니다.
• 외부 판정자 부재: 크리틱은 모델의 자체 롤아웃과 이진 결과만으로 학습하므로, 역량 경계가 특정 모델의 능력을 반영하도록 보장됩니다.

2.4 정책 최적화

정책은 세그먼트 수준에서 **PPO(근접 정책 최적화)**를 사용하여 업데이트됩니다. 각 세그먼트는 해당 세그먼트 내의 모든 토큰에 균일하게 적용되는 고유한 이점 스칼라를 받습니다. 총 손실은 PPO 목적 함수와 크리틱의 MSE 손실을 결합합니다.

3. 주요 기여

1. 역량 인식 가치 함수: 이진 결과로 훈련된 가치 함수는 파라미터로 해결 가능한 질문과 도구 의존적 질문을 분리하는 법을 배웁니다. 7B 규모에서 이러한 티어를 구분하는 데 AUC 0.93 을 달성합니다.
2. 단일 결과로부터의 세그먼트별 신용: 구조적으로 관찰 가능한 경계에서 SMDP 벨만 방정식을 활용함으로써, CARL 은 단일 이진 보상에서 각 세그먼트 (호출, 동화, 확정) 에 대한 독립적인 이점을 도출합니다. 이는 모델이 동일한 성공 궤적 내에서 도움이 되는 호출에 대해서는 긍정적 신용을, 오류나 불필요한 호출에 대해서는 부정적 신용을 받도록 합니다.
3. 창발적 선택성: 이 방법은 명시적 지시나 외부 감독 없이 모델이 언제 도움을 요청할지 학습하게 하여 불필요한 도구 호출을 줄입니다.

4. 실험 결과

저자들은 Qwen2.5 모델의 3B 및 7B 규모를 사용하여 5 가지 벤치마크 (GSM8K, HotpotQA, 2WikiMQA, FinQA, Musique) 에서 CARL 을 평가했으며, 강력한 RL 베이스라인 (Search-R1 PPO 및 GRPO) 과 비교했습니다.

• 정확도 향상: CARL 은 검색 기반 데이터셋 전체에서 7B 기준 평균 **6.7 정확 일치 (EM)**점, 3B 기준 9.7 EM점으로 가장 강력한 RL 베이스라인 (Search-R1 PPO) 을 능가했습니다.
  • 가장 큰 향상은 Musique(구성적 멀티홉 벤치마크) 에서 발생했으며, 7B 기준 +8.3 EM, 3B 기준 +9.0 EM의 개선을 보였습니다.
  • 작은 모델 (3B) 의 경우 개선 폭이 7B 대비 1.4 배 더 크게 나타나, 제한된 파라미터 메모리를 가진 모델에게 언제 도움을 요청할지 아는 것이 중요함을 시사합니다.
• 도구 사용 효율성:
  • 파라미터 지식으로 답변 가능한 질문 (티어 2) 에서 CARL 은 Search-R1 PPO 보다 53% 적은 도구 호출을 수행했습니다.
  • 도구를 덜 호출함에도 불구하고, CARL 은 동일한 질문에서 약 10 EM 점 더 높은 정확도를 유지했습니다.
  • 쉬운 질문에서 검색을 건너뛰는 덕분에 7B 기준 총 토큰 생성량이 평균 23% 감소했습니다.
• 크리틱 보정: 훈련된 크리틱은 성공 확률 ($V(s_0)$) 을 정확하게 추정합니다.
  • 티어 1 대 티어 2 질문을 구분하는 데 AUC 0.93(7B) 및 **0.85(3B)**를 기록했습니다.
  • 보정: 선별된 워밍업을 통해 기대 보정 오차 (ECE) 는 0.043 으로, 예측된 성공 확률이 실제 성공률과 밀접하게 일치함을 의미합니다.
• 부호 이질성: 크리틱은 단일 궤적 내의 세그먼트에 대해 상반된 부호를 올바르게 할당합니다 (예: 좋은 검색에 대해 $+0.15$, 나쁜 추출에 대해 $-0.22$). 이는 궤적 수준 방법에서는 불가능한 행동입니다.

5. 중요성 및 주장

이 논문은 CARL 이 궤적 수준 RL 의 근본적인 한계, 즉 성공이나 실패에 기여한 특정 도구 호출을 분리하지 못하는 문제를 해결한다고 주장합니다. 도구 사용 궤적의 구조적으로 관찰 가능한 경계를 활용함으로써, CARL 은 단일 이진 결과를 의미 있는 일련의 세그먼트 수준 이점으로 변환합니다.

저자들은 이 접근법이 모델이 도구를 언제 사용할지 지시받는 것이 아니라 자신의 역량 경계를 학습하게 한다고 강조합니다. 그 결과 다음과 같은 이점이 발생합니다:

• 할루시네이션 감소: 모델은 어려운 질문 (티어 1) 에서 추측하기보다 도구를 통해 라우팅하는 법을 배우므로 답변을 조작할 가능성이 줄어듭니다.
• 효율성: 불필요한 도구 호출이 억제되어 지연 시간과 API 비용이 감소합니다.
• 확장성: 이 이점은 작은 모델에서 가장 두드러지므로, 세그먼트 수준 신용 할당은 꼬리 분포 지식을 처리하기 위해 파라미터 메모리를 확장하는 실용적인 대안이 될 수 있음을 시사합니다.

논문은 검색 품질이 성능의 상한선으로 남아 있음을 결론지었습니다 (더 나은 검색 API 가 결과를 추가로 개선한 제거 연구에서 확인됨). 그러나 CARL 의 신용 할당 메커니즘이 도구 강화 LLM 의 향상된 선택성과 정확도의 주요 동력이라고 주장합니다.