기술 요약: CRAFT – 스키마를 학습하고, 계획을 실행하라

문제 정의

엔터프라이즈 코딩 에이전트는 자연어 분석 요청을 독점적인 API 및 스키마 상에서 실행 가능한 코드로 변환하는 데 점점 더 많이 사용되고 있습니다. 그러나 기존의 배포 패턴은 방대한 스키마 정의(DDL), API 문서, 도구 지침을 모든 프롬프트에 주입하는 "컨텍스트 스터핑(context stuffing)" 방식에 의존합니다. 이 접근 방식은 프로덕션 분석 환경에서 세 가지 결정적인 문제를 야기합니다:

1. 추론 오버헤드: 긴 스키마 프롬프트가 사용자 턴(turn) 및 중간 결과와 작업 메모리를 경쟁하게 되어 토큰 비용을 크게 증가시킵니다.
2. 스키마 진화의 취약성: 물리적 스키마 변경(예: 컬럼 이름 변경, 테이블 마이그레이션) 시 프롬프트 파이프라인과 회귀 테스트를 빈번하게 업데이트해야 합니다.
3. 멀티 턴 신뢰성: 정적인 컨텍스트를 지속적으로 재주입하는 것은 멀티 턴 분석 대화에서 일관성과 응집력을 저해합니다. 에이전트는 각 턴을 독립적으로 처리하는 것이 아니라 제약 조건을 유지하고 분석을 진전시켜야 합니다.

저자들은 안정적인 스키마 지식과 도구 사용 동작을 일시적인 프롬프트 컨텍스트가 아닌 사후 학습(post-training)을 통해 습득할 수 있는지 조사하며, 이를 통해 프로덕션 수준의 분석에 필요한 일관성을 보존하고자 합니다.

방법론

본 논문은 스키마 기반 코딩 에이전트를 위해 설계된 2단계 사후 학습 레시피인 CRAFT를 제안합니다. 시스템은 베타 API와 스키마가 연결된 광고 데이터를 사용하는 통제된 엔터프라이즈 환경 내에서 평가되었으며, 고객 민감 데이터에 대한 노출은 피했습니다.

1. 궤적 증류 및 필터링 (Trajectory Distillation and Filtering)

장기적(long-horizon) 멀티 도구 코드 생성에 대한 인간의 그라운드 트루스(ground truth) 부족 문제를 해결하기 위해, 저자들은 궤적 생성을 검증 가능한 탐색 문제로 취급합니다. 교사 모델(Teacher models)은 추론 스크래치패드, 비즈니스 수준의 <PLAN> 블록(원시 DDL 없이 엔티티/메트릭 설명), 그리고 실행 가능한 <CODE> 블록이라는 세 가지 블록 형식을 사용하여 후보 궤적을 생성합니다.

• 3단계 게이트 필터 (Tri-Gate Filter): 10만 개 이상의 생성된 궤적 중 1.51만 개의 승인된 궤적을 선별하기 위해 3단계 거부 필터를 사용합니다:
  • 게이트 1: 실행 실패, 구문 오류 및 타임아웃을 거부합니다.
  • 게이트 2: 빈 출력 또는 불완전한 출력을 거부합니다.
  • 게이트 3: 프롬프트, 계획, 코드 간의 의미론적 불일치를 감지하기 위해 LLM 판사 앙상블을 사용합니다.

2. 1단계: 스키마가 제거된 PLAN 지도 학습 미세 조정 (Schema-Stripped PLAN SFT)

첫 번째 단계는 120B MoE 베이스 모델을 학습시켜, 과도한 프롬프트 시점의 스키마 주입 없이도 도메인 구조화된 계획과 실행 가능한 동작을 학습하도록 합니다.

• 스키마 제거 (Schema Stripping): 5만 개 이상의 토큰으로 구성된 스키마 컨텍스트를 입력에서 제거합니다. 모델은 내재화된 도메인 구조에 의존해야 합니다.
• 손실 마스킹 (Loss Masking): 예측 불가능한 런타임 값(식별자, 타임스탬프, 데이터프레임 내용)을 모델이 암기하는 것을 방지하기 위해 도구 출력을 손실 함수에서 마스킹합니다.
• 목표: 도메인 친숙도를 제공하고 공통적인 엔티티 관계와 코드 관용구를 가르쳐, 에이전트의 필수적인 초기화 역할을 수행하게 합니다.

3. 2단계: 실행 형태의 강화 학습 (Execution-Shaped Reinforcement Learning)

두 번째 단계에서는 그룹 상대 정책 최적화(GRPO)를 적용하여 에이전트의 정책을 실행 피드백에 정렬합니다.

• 보상 함수: 총 보상($R_{total}$)은 다음의 가중치 조합입니다:
  • $R_{outcome}$: 실행 성공 및 유닛 테스트 정확도.
  • $R_{process}$: 도구 호출 구조, 코드 품질, 안티 패턴(예: 불필요한 조인) 회피.
  • $R_{consistency}$: 명시된 계획과 생성된 코드 간의 일치성.
  • $R_{judge}$: 비즈니스 정렬을 위한 LLM 판사의 평가.
• 인프라: 시스템은 비동기 멀티 턴 롤아웃을 지원하고, 스텝 단위의 도구 보상을 전파하며, 상태가 있는(stateful) 도구 응답 턴을 처리하기 위해 VERL 및 SLIME의 확장을 활용합니다.

주요 기여

1. 계획된 롤아웃 엔터프라이즈 시스템: 25개의 스키마 연결 엔티티와 30개의 에이전트 워크플로우를 포함하며 베타 API를 대상으로 평가된 광고 분석용 배포 설정에 대한 설명.
2. 스키마 제거 사후 학습 레시피: 과도한 프롬프트 시점의 스키마 주입 의존도를 줄이는 PLAN SFT와 실행 형태의 RL의 새로운 결합.
3. 프로덕션 지향적 평가: 태스크 품질, 일관성, 멀티 턴 상호작용 및 효율성을 측정하고, 스키마 스터핑 베이스라인 대비 기밀 델타(delta)를 보고하는 종합적인 평가.
4. 배포 교훈: 엔터프라이즈 환경의 멀티 턴 도구 사용 RL에 필요한 설계 트레이드오프, 실패 모드 및 인프라 확장(VERL/SLIME)에 대한 기록.

결과

스키마 스터핑 베이스라인과 비교했을 때, CRAFT는 품질과 효율성 측면에서 상당한 개선을 보여줍니다:

• 성능 지표:
  • 에이전트 점수 (Agent Score): +9.6 퍼센티지 포인트(pp) 향상.
  • 일관성 (Consistency): +4.1 pp 향상.
  • 멀티 턴 응집력 (Multi-turn Coherence): +4.2 pp 향상.
• 효율성 지표:
  • 입력 토큰 부담: 스키마 제거를 통해 약 9배 감소 (베이스라인의 0.11x).
  • 스키마 발견 루프 (Schema-Discovery Loops): 최대 5배 감소 (베이스라인의 0.20x), 이는 에이전트가 유효한 실행 경로를 찾는 데 필요한 탐색 횟수가 줄었음을 나타냅니다.
• 구성 요소 분석: 개선 사항은 단일 지표에 집중되지 않고 실행 성공, 도구 사용 정확성, 계획-코드 정렬 및 최종 답변 정확도 전반에 걸쳐 분포되었습니다.
• 일반 능력: 공개 벤치마크(IFEval, GSM8K, GPQA)에서는 변화가 거의 없었으며, 이는 일반적인 추론 능력에 실질적인 퇴보가 없음을 나타냅니다.

의의 및 주장

본 논문은 CRAFT가 스키마가 독점적이고 안정적인 엔터프라이즈 환경에서 신뢰할 수 있는 코딩 에이전트를 배포할 수 있는 실행 가능한 경로를 제공한다고 주장합니다. 안정적인 스키마 지식을 프롬프트 컨텍스트에서 사후 학습을 통해 모델 가중치로 이동함으로써, 시스템은 다음을 달성합니다:

• 확장성: 토큰 오버헤드를 획기적으로 줄여 멀티 턴 상호작용을 경제적으로 가능하게 합니다.
• 견고성: 대규모 컨텍스트를 재주입하지 않고도 멀티 턴 정교화 작업을 처리하고 실행 실패에서 복구하는 능력을 강화합니다.
• 유지보수성: 에이전트의 핵심 추론을 특정 스키마 버전과 분리하여, 스키마 진화 시 프롬프트 파이프라인을 업데이트해야 하는 필요성을 줄입니다.

저자들은 CRAFT를 "계획된 롤아웃 설정에서 안정적인 독점 스키마 위에서 작동하는 코딩 에이전트를 위한 사후 학습 레시피"라고 겸손하게 정의하며, 이것이 임의의 오픈 월드 도메인에서의 검색(retrieval)이나 인컨텍스트 도구 그라운딩(in-context tool grounding)을 대체하는 것이 아님을 명시적으로 밝힙니다. 이 연구는 SFT가 필요한 도메인 친숙도를 제공하는 반월, 실행 형태의 RL이 도구 선택 및 모호성 해결에 관한 에이전트의 대화형 결정 정책을 정렬하는 데 결정적이라는 점을 강조합니다.