기술 요약: CRANE – 널스페이스 편집을 통한 코드 에이전트를 위한 제약적 추론 주입

1. 문제 제기

현대적인 코드 에이전트는 복잡한 소프트웨어 작업을 해결하기 위해 정교한 추론 능력(계획, 문맥 통합, 오류 복구)이 필요하면서도, 실행 환경과 효과적으로 상호작용하기 위해 도구 사용 프로토콜(간결한 출력, 올바른 스키마 포맷팅, 엄격한 도구 타이밍)을 엄격히 준수해야 하는 이중적 요구사항을 충족해야 합니다.

최근 관찰 결과, 짝을 이룬 모델 체크포인트 간에 불일치가 존재함이 확인되었습니다:

• 지시 (Instruct) 모델: 간결하고 도구 사용에 엄격하지만, 종종 심층적인 계획이나 복구 행위가 부족하여 조기 편집이나 루프를 초래합니다.
• 사고 (Thinking) 모델: 더 강력한 추론과 복구를 보이지만, 종종 "과도한 숙고"를 하여 과도한 토큰을 소모하거나 도구 프로토콜 위반 및 행동 부재로 인해 성능이 저하됩니다.

기존 모델 병합 기법 (예: Task Arithmetic, TIES, SLERP) 은 일반적으로 병합을 양쪽 끝점의 대칭적 융합으로 간주합니다. 이들은 "사고" 모델에서 특정 추론 행위를 "지시" 백본에 주입하면서 동시에 지시 모델의 배포된 도구 인터페이스를 엄격히 보존해야 하는 비대칭적 코드 에이전트 설정을 위해 설계되지 않았습니다. 단순한 병합은 성공적인 에이전트 실행에 필요한 프로토콜 충실도를 손상시키는 경우가 많습니다.

2. 방법론: CRANE

CRANE(널스페이스 편집을 통한 코드 에이전트를 위한 제약적 추론 주입) 은 사고 (Thinking) 와 지시 (Instruct) 체크포인트 간의 차이 벡터 ($\delta = \theta_{\text{think}} - \theta_{\text{inst}}$) 를 후보 추론 편집의 방향성 풀로 간주하는 학습 없는 파라미터 편집 방법입니다. 이는 에이전트 행위를 보존하면서 이러한 편집을 선택적으로 주입하기 위해 3 단계 파이프라인을 사용합니다:

1 단계: 크기 임계값 설정 (노이즈 제거)

원시 델타 $\delta$에는 유용한 추론 신호와 노이즈가 모두 포함되어 있습니다. CRANE 은 낮은 신뢰도의 좌표를 제거하기 위해 보수적인 희소화 규칙을 적용합니다.

• 메커니즘: 결정론적 중앙값 크기 임계값이 적용됩니다. $|\delta|$의 중앙값보다 작은 크기를 가진 좌표는 0 으로 설정됩니다.
• 재조정: 나머지 0 이 아닌 항목은 전체 업데이트 크기를 대략적으로 보존하기 위해 2 배로 스케일링됩니다.
• 목표: 의미 있는 추론에 기여하지 않으면서 에이전트 인터페이스를 교란할 수 있는 저크기 노이즈를 폐기합니다.

2 단계: 보수적 테일러 게이트 (CTG)

이 단계는 특정 편집 방향이 추론 전이와 도구 사용 보존 모두에 유익한지 평가하여 각 파라미터 블록 (레이어 및 구성 요소) 에 대한 주입 강도를 결정합니다.

• 보정: 작은 보정 세트를 사용하여 두 가지 마스크된 손실 함수가 정의됩니다:
  • $L_R$(추론): 사고 모델이 생성한 코드 추론 프롬프트에 대한 성능을 측정합니다.
  • $L_A$(에이전트 행위): 지시 모델이 생성한 도구 사용 프롬프트에 대한 성능을 측정합니다.
• 점수 매기기: 각 좌표 $j$에 대해 1 차 개선 점수는 $s_K(j) = -g_{K,j}\delta_j$로 계산되며, 여기서 $g_K$는 손실의 기울기입니다.
• 게이트 논리: 편집이 두 손실 모두에 대해 하강 방향일 때만 좌표에 양의 가중치가 부여됩니다:
  $$p_j = [\min\{s_R(j), s_A(j)\}]_+$$
• 집계: 가중치는 블록별로 집계되며, 참조 FFN/전문가 블록에 대해 정규화되어 최종 스케일링 계수 $S_{\text{CTG}}(c, l)$을 결정합니다.

3 단계: 점진적 시그모이드 투영 (GSP)

유익한 편집조차도 중요한 포맷 토큰 (예: 도구 구분자, JSON 스키마, 채팅 템플릿) 을 방해할 수 있습니다. 이 단계는 "포맷-중요" 부분 공간에서의 업데이트를 억제합니다.

• 활성화 수집: 포맷-중요한 흔적 (도구 호출과 스키마를 제어하는 토큰) 에 대한 지시 모델에서 은닉 상태가 수집됩니다.
• SVD 투영: 활성화 행렬에 대해 특이값 분해 (SVD) 가 수행됩니다. 높은 특이값을 가진 방향은 포맷-중요한 출력에 강력하게 영향을 미치는 입력 방향에 해당합니다.
• 소프트 마스킹: 하드 널스페이스 투영 대신, 시그모이드 마스크가 특이값 공간에 적용됩니다. 진폭이 큰 방향 (포맷-중요) 은 크게 감쇠되고, 진폭이 작은 방향은 보존됩니다. 이는 불연속적인 차단이 아닌 매끄러운 전환을 보장합니다.

최종 병합 모델은 다음과 같이 계산됩니다:
$$\theta_{\text{merged}} = \theta_{\text{inst}} + \Pi_{\text{GSP}} \left( \alpha \cdot S_{\text{CTG}} \cdot T(\delta) \right)$$

3. 주요 기여

1. 방향성 병합 공식화: 짝을 이룬 지시/사고 모델을 위한 모델 병합에 대한 새로운 접근법으로, 특정 에이전트 행위에 조건부로 델타를 대칭적 목표가 아닌 후보 편집 풀로 간주합니다.
2. CRANE 레시피: 희소 델타 추출, 도구 사용 인식 보수적 테일러 게이트, 포맷 보존 점진적 시그모이드 투영을 결합한 3 단계 학습 없는 파이프라인.
3. 실증적 평가: Roo-Eval, SWE-bench-Verified, Terminal-Bench v2 세 가지 벤치마크와 Qwen3-30B-A3B 및 Qwen3-Next-80B-A3B 두 가지 모델 규모에 대한 포괄적인 평가.
4. 어블레이션 연구: 희소화기, 테일러 게이트, 투영 등 각 구성 요소가 관찰된 성능 - 비용 절충에 필수적임을 확인하는 분석.

4. 실험 결과

CRANE 은 효율성을 유지하면서 모든 벤치마크에서 개별 끝점 및 표준 병합 베이스라인 (Task Arithmetic, TIES, SLERP, AIM, LEWIS, RAIN) 보다 일관되게 우수한 성과를 거두었습니다.

• Roo-Eval (IDE 기반 코딩):

  • 30B 규모: **66.2%**의 pass@1 을 달성하여 지시 베이스라인 (46.7%) 대비 +19.5%, 최상의 대체 병합 대비 +19.0%의 향상을 보였습니다.
  • 80B 규모: **81.5%**의 pass@1 을 달성하여 지시 대비 +8.7%의 향상을 보였습니다.
  • 효율성: CRANE 은 지시 베이스라인보다 낮은 총 토큰 수 (TTC) 로 이러한 향상을 달성했으며, 30B 규모에서 약 6 천만 토큰의 사용량을 줄였습니다.

• SWE-bench-Verified (레포지토리 수준 이슈):

  • 30B 규모: 122/500개의 인스턴스를 해결하여 지시 베이스라인 (108) 과 최상의 병합 베이스라인 (113) 을 능가했습니다.
  • 80B 규모: 180/500개의 인스턴스를 해결하여 지시 (168) 와 기타 모든 베이스라인을 능가했습니다.
  • 효율성: CRANE 은 베이스라인보다 낮은 집계 토큰 비용으로 더 많은 인스턴스를 해결했습니다.

• Terminal-Bench v2 (쉘/명령줄 워크플로우):

  • 30B 규모: pass@1 을 7.6% (지시 4.8% 대비) 로, pass@5 를 **17.9%**로 개선했습니다.
  • 80B 규모: pass@1 을 **14.8%**로, pass@5 를 **30.3%**로 개선했습니다.
  • 효율성: CRANE 은 높은 성공률을 유지하면서 월클록 시간을 크게 단축했습니다 (예: 80B 기준 지시 2 시간 28 분 대비 1 시간 58 분).

어블레이션 결과: 크기 임계값 설정, 테일러 게이트, GSP 중 단일 구성 요소를 제거하면 성능이 크게 저하되었습니다. 특히 GSP 를 제거하면 성공률이 가장 크게 감소하여 포맷-중요 방향을 보존하는 것이 얼마나 중요한지 강조했습니다.

5. 중요성 및 주장

이 논문은 CRANE 이 코드 에이전트에서 지시와 사고 체크포인트의 "상호 보완적이지만 불일치하는" 특성을 성공적으로 해결한다고 주장합니다. 병합을 일반적인 융합이 아닌 행위 조건부 방향 편집 문제로 간주함으로써, CRANE 은 사고 모델의 계획 및 복구 능력을 주입하면서도 지시 모델의 도구 엄격성과 효율성을 희생하지 않습니다.

저자들은 이러한 향상이 증가된 토큰 예산이나 더 긴 롤아웃으로 구매된 것이 아님을 강조합니다. 실제로 CRANE 은 종종 적은 토큰과 더 짧은 월클록 시간으로 우수한 결과를 달성합니다. 이 방법은 배포된 에이전트 프로토콜의 제약을 엄격히 준수하면서 추론 모델의 강점을 활용하여 에이전트 성능을 향상시키는 실용적이고 학습 없는 경로를 제공합니다.

인정된 한계:

• 이 방법은 사고 체크포인트가 유용한 추론을 제공하고 지시 체크포인트가 유용한 인터페이스를 제공한다고 가정합니다. 미래의 모델이 이미 두 가지 모두에서 뛰어날 경우, 더 단순한 병합으로 충분할 수 있습니다.
• 보정 세트는 배포된 도구 표면을 커버해야 합니다. 도구나 포맷팅에 큰 변화가 발생하면 재보정이 필요합니다.
• GSP 프로젝터 구성은 포맷 흔적에 대한 순방향 통과를 필요로 하므로 매우 큰 모델의 경우 계산 비용이 많이 들 수 있습니다.
• 특정 언어 (Java, Rust) 에 대한 성능은 Python/JS/Go 보다 여전히 낮아, 병합 방법 자체의 실패가 아닌 기본 모델의 훈련 비대칭성을 시사합니다.