기술 요약: 선택적 관찰 하에서 구조화된 행동 신용을 활용한 CLI 에이전트 학습

문제 정의

명령 줄 인터페이스 (CLI) 에이전트는 사전 정의된 도구 API 가 아닌 셸 명령어를 통해 파일 시스템 환경 내에서 직접 작동함으로써 에이전트 - 컴퓨터 상호작용의 실용적 패러다임을 대표합니다. 그러나 이러한 에이전트를 학습시키는 과정에는 두 가지 결합된 병목 현상이 존재합니다:

1. 선택적 관찰: 에이전트는 부분적 관찰로부터 대규모의 고차원 코드베이스 및 파일 시스템 내에서 작업과 관련된 증거를 식별해야 합니다. 초기 시야는 종종 환경의 제한된 투영만 포함하므로, 행동을 취할 올바른 파일이나 디렉토리를 선택하기 어렵습니다.
2. 희소 행동 신용: 다중 턴 상호작용에서 터미널 보상은 종종 희소하고 지연되어 에피소드 종료 시에만 나타납니다. 긴 궤적을 형성하는 특정 행동에 신용을 부여하는 것은 어렵습니다. 특히 상태 공간이 크고 거의 모든 관찰이 고유한 경우, 반복된 상태에 의존하여 정규화를 수행하는 기존 강화 학습 (RL) 방법의 가정이 약화됩니다.

현재의 접근 방식인 궤적 수준의 지도 미세 조정 (supervised fine-tuning) 은 종종 실제 작업 이해보다는 인터페이스 패턴의 암기로 이어집니다. 반면, 기존 RL 방법 (예: Group Relative Policy Optimization 변형) 은 반복된 상태의 부재와 희소한 터미널 보상을 특정 셸 명령어 구조에 매핑하는 복잡성으로 인해 CLI 환경에서 신용 할당에 어려움을 겪습니다.

방법론

본 논문은 두 가지 주요 메커니즘인 $\sigma$-Reveal과 **행동 이득 할당 (Action Advantage Assignment, A3)**을 통해 관찰 및 신용 할당 문제를 모두 해결하는 통합 프레임워크를 제안합니다.

1. $\sigma$-Reveal: 선택적 관찰

부분 관찰 병목 현상을 해결하기 위해 저자들은 토큰 예산이 할당된 초기 작업 공간 뷰를 구성하는 추론 시 메커니즘인 $\sigma$-Reveal 을 도입했습니다.

• 메커니즘: 첫 번째 행동 전에 $\sigma$-Reveal 은 토큰 예산 $B$ 하에서 관련성 점수 $\hat{\mu}(x | o_0)$를 최대화하는 초기 파일 트리 ($FS_0$) 의 서브트리 폐쇄 집합을 선택합니다.
• 관련성 점수화: 점수는 세 가지 신호를 결합합니다:
  1. 이름 매칭: 파일 이름이 작업 지시문의 토큰과 일치하는지 여부.
  2. 깊이 우선순위: 디렉토리 트리 내 파일의 깊이에 기반한 기하학적 감쇠.
  3. 확장자 우선순위: 추론된 작업 유형과 관련이 있을 파일 확장자의 가능성.
• 결과: 이를 통해 에이전트는 선택된 파일에 대한 디렉토리 컨텍스트를 보존하면서, 토큰 효율적이지만 문맥적으로 풍부한 작업 공간 뷰를 받게 됩니다.

2. 행동 이득 할당 (A3)

희소 신용 할당 문제를 해결하기 위해 A3 는 보조 가치 모델이나 상태 고정 (state anchoring) 없이 세 가지 보완적 신호를 융합하여 턴별 이득을 구성하는 네이티브 에이전트 RL 방법입니다.

• AST 기반 행동 유사성: 이 방법은 셸 명령어의 추상 구문 트리 (AST) 시그니처를 비교하여 행동 의도를 정량화합니다. Bash 용 Tree-sitter 를 사용하여 행동을 특정 파일 경로나 리터럴 값과 무관한 구조적 시그니처 (동사, 리터럴, 제어 구조) 로 변환합니다. 이러한 시그니처에 대한 정규화된 레벤슈타인 거리를 통해 행동 간의 거리를 계산합니다.
• 3 채널 이득 융합:
  1. 에피소드 백본 ($A^{ep}$): 동일한 프롬프트에 대한 형제 롤아웃의 중앙값 반환과 롤아웃의 반환을 대조하며, 중앙값 절대 편차 (MAD) 로 정규화합니다. 이는 작업 성공에 대한 글로벌 신호를 제공합니다.
  2. 턴 레벨 행동 서브-체인 잔차 ($A^{intent}$): 최근 행동 서브-체인의 구조적 유사성 (AST 거리 사용) 을 기반으로 특정 턴에서 궤적을 클러스터링합니다. 구조적으로 유사한 행동에 대한 반환의 leave-one-out (LOO) 평균을 계산하고 이 평균에서의 편차에 따라 신용을 할당합니다. 이는 특정 명령어 구조의 가치를 분리합니다.
  3. 트리 이득 ($A^{tree}$): 과거 행동 시그니처를 기반으로 상호작용 기록을 "버킷"으로 추상화합니다. 동일한 추상 상태에서의 평균 브랜치 대비 특정 추상 행동 브랜치를 취했을 때의 가치 차이를 계산합니다. 이 신호는 작은 클러스터에서의 노이즈를 방지하기 위해 그룹 크기에 의해 게이트됩니다.
• 융합: 이 세 가지 신호는 정규화되고 가중치가 부여된 후 경계 활성화 함수 (tanh) 를 통과하여 정책 경계 업데이트에 사용되는 최종 이득 $A_i$를 생성합니다.

3. ShellOps 데이터셋

이 설정을 평가하기 위해 저자들은 리포지토리 환경의 CLI 작업을 다루는 검증 가능한 데이터셋 스위트인 ShellOps와 ShellOps-Pro를 구축했습니다.

• 범위: 작업에는 Lookup(값 추출), Aggregate(산란된 증거에서 스칼라 답변 도출), Edit(검증 가능한 파일 재작성), Mixed(stdout 과 파일 편집 결합) 가 포함됩니다.
• 규모: ShellOps 는 1,624 개의 작업을 포함하며, ShellOps-Pro 는 더 크고 다양한 파일 확장자를 가진 더 큰 작업 공간 (표준 세트의 작업당 3 개 대비 중앙값 25 개) 을 가진 150 개의 더 어려운 분포 외 (out-of-distribution) 작업을 추가합니다.

주요 결과

Qwen3-14B 정책 모델을 사용하여 여러 벤치마크 (AgentBench, DataBench, EHRCon, TableBench, ShellOps) 에서 실험이 수행되었습니다.

• 성능: $\sigma$-Reveal 을 적용한 A3 는 Qwen3-14B 방법 중 가장 강력한 결과를 달성했습니다. 파일 편집과 stdout 이 모두 필요한 ShellOps 하이브리드 작업에서 A3 는 24.6% 의 정확한 일치 점수를 기록하여 가장 강력한 베이스라인 (11.3%) 을 크게 앞섰습니다.
• 샘플링 효율성: Pass@k 측면에서 $\sigma$-Reveal 을 적용한 A3 는 ShellOps 에서 55.7%(Pass@5) 에 도달한 반면, 최상의 비-A3 베이스라인은 28.6% 였습니다.
• 장기적 전이: 최대 10 단계까지 확장된 휴리스틱을 가진 ShellOps-Pro 에서 A3 는 Qwen3-14B 에이전트 중 가장 좋은 성능을 유지하며, 특정 설정에서 훨씬 더 큰 프론티어 모델 (예: Qwen3-235B) 과Comparable 한 성능 수준에 도달했습니다. 다만 Kimi-K2.6 과 같은 모델과의 격차는 여전히 존재했습니다.
• 안정성: 학습 진단 결과, A3 는 HGPO 및 RetroAgent 와 같은 베이스라인에서 관찰된 "KL 스파이크"와 엔트로피 붕괴를 피하면서 안정적인 대체 KL 및 정책 엔트로피를 유지했습니다.
• 효율성: A3 의 이득 계산 비용은 LLM 판정관 (예: GiGPO, HGPO) 에 의존하는 방법과 달리 표준 그룹 상대적 학습과 비교 가능하여, 훨씬 더 높은 계산 오버헤드를 수반하지 않습니다.

중요성과 주장

본 논문은 작업 공간 증거 선택과 명령어 구조가 CLI 에이전트 학습에 효과적인 기반임을 주장합니다.

• 구조적 신용: 표면 텍스트가 아닌 CLI 행동의 네이티브 구조적 속성 (AST 시그니처) 을 활용함으로써 A3 는 반복된 상태나 외부 판정관에 의존하지 않는 확장 가능하고 계산 효율적인 신용 할당 방법을 제공합니다.
• 관찰 관리: $\sigma$-Reveal 은 포괄적인 검색이 필요하지 않고도 대규모 파일 시스템에서 부분 관찰 문제를 효과적으로 완화할 수 있는 선택적이고 토큰 예산이 할당된 컨텍스트 주입을 입증했습니다.
• 실용적 패러다임: 이 연구는 실행 가능한 결과 (파일 상태 및 터미널 출력) 에서 보상이 유도되는 CLI 에이전트를 위한 검증 가능한 루프를 확립하여, 고립된 입력 - 출력 쌍을 넘어 진정한 다중 턴 상호작용 최적화로 나아갔습니다.

저자들은 셸 구조를 의도의 대리자로 사용하는 것 (경로나 파일 내용의 의미적 차이를 놓칠 수 있음) 과 현재 범위가 셸 주도 파일 시스템 상호작용으로 제한되어 GUI 또는 네트워크 환경에 대한 추가 검증이 필요하다는 한계를 지적했습니다.