기술 요약: 모델이 아닌 인터페이스 적응

문제 정의

대형 언어 모델 (LLM) 에이전트는 하부 언어 모델뿐만 아니라 상호작용 루프를 중재하는 런타임 하네스(runtime harness) 에 의해서도 정의됩니다. 이는 환경을 관찰하고, 도구를 선택하며, 행동을 실행하고, 피드백을 해석하며, 다단계 궤적을 조절하는 과정을 포함합니다. 기존 적응 방법들은 모델 파라미터를 업데이트하는 것 (예: 지도 미세 조정, 강화 학습, 또는 증류) 에 초점을 맞추고 있지만, 결정론적 규칙 기반 도메인에서의 많은 실패는 잠재적 추론 능력의 부재가 아니라 모델 - 환경 인터페이스에서의 불일치에서 비롯됩니다.

이러한 도메인에서는 도구 스키마, 허용 가능한 행동 공간, API 계약, 피드백 규칙, 복구 전략과 같은 중요한 구조가 모델 외부에 존재합니다. 따라서 표준 파라미터 적응은 종종 모델 특정적, 작업 특정적이며, 기본 모델이나 환경이 변경될 때 재학습하는 데 비용이 많이 듭니다. 또한, 정적 모델 능력은 종종 상호작용 성능으로 전환되지 않습니다. 예를 들어, 모델은 수학 추론 벤치마크에서는 뛰어날 수 있지만, 인터페이스 불일치 (예: 잘 정리되지 않은 관찰, 오해된 도구 계약, 또는 실행 불가능한 행동) 로 인해 결정론적 구체화 상호작용 작업에서는 실패할 수 있습니다.

방법론: LIFE-HARNESS

저자들은 모델 가중치나 평가 환경을 수정하지 않고 동결된 LLM 에이전트의 성능을 향상시키기 위해 LIFE-HARNESS를 제안합니다. 이는 하네스를 검색하거나 지속적으로 편집해야 하는 자유 형식 코드 아티팩트로 취급하는 대신, 에이전트 상호작용 수명 주기를 중심으로 적응을 구조화하여 훈련 궤적에서 재사용 가능한 인터페이스 개입을 진화시킵니다.

이 시스템은 궤적 분석을 통해 식별된 특정 실패 모드를 대상으로 하는 네 가지 명확한 계층으로 작동합니다.

1. 환경 계약 계층 (상호작용 전):

   • 기능: 에이전트가 환경과 상호작용하기 전에 도구 설명과 인터페이스 제약을 보정합니다.
   • 메커니즘: 환경 정책, API 동작, 그리고 반복되는 훈련 실패에서 파생된 간결한 업데이트 ($\Delta C$) 를 추가하여 향상된 계약 ($C'$) 을 생성합니다. 이는 도구 사용 규칙, 정책 제약, 그리고 일반적인 함정을 명확히 하여 일반적 사전 지식과 환경 특정 계약 간의 불일치를 줄입니다.

2. 절차적 기술 계층 (작업 조건부):

   • 기능: 일반적 의사결정을 위한 비파라미터적 지침을 제공합니다.
   • 메커니즘: 훈련 궤적에서 기술 라이브러리를 증류합니다. 주어진 작업 설명에 대해 하네스는 관련 기술을 검색 (BM25 점수 사용) 하여 초기 시스템 프롬프트에 삽입함으로써 모델이 특정 하위 작업을 해결하도록 안내합니다.

3. 행동 실현 계층 (실행 전):

   • 기능: 환경에 의해 실행되기 전에 모델이 생성한 행동을 검증하고 표준화합니다.
   • 메커니즘: 도구 스키마, 인수 제약과 같은 결정론적 증거를 사용하여 실행 가능성을 검증합니다. 모호하지 않은 인터페이스 수준의 오류 (예: 포맷팅 문제) 를 복구하고, 결정론적으로 실패할 행동을 차단하여 모델의 의도가 유효한 도구 호출로 신뢰성 있게 매핑되도록 보장합니다.

4. 궤적 조절 계층 (실행 후):

   • 기능: 환경 피드백을 받은 후 상호작용 역학을 모니터링합니다.
   • 메커니즘: 반복, 정체, 잘못된 재시도, 또는 예산 소진과 같은 퇴화 패턴을 감지합니다. 감지 시, 에이전트가 진전 없이 순환하거나 자원을 소진하는 것을 방지하기 위해 복구 메커니즘 (예: 소프트 복구 메시지 또는 교정 지시) 을 트리거합니다.

진화 과정:
LIFE-HARNESS 는 코딩 에이전트 (Codex) 를 사용하여 오프라인으로 진화합니다. 이 과정은 다음을 포함합니다:

1. 훈련 작업에서 동결된 모델을 실행하여 상호작용 흔적을 수집합니다.
2. 반복되는 실패 패턴을 진단하고 이를 적절한 수명 주기 계층에 매핑합니다.
3. 이러한 실패를 해결하기 위해 하네스 코드를 반복적으로 업데이트하면서 회귀 (과도한 트리거 또는 유효한 행동 차단) 를 확인합니다.
4. 유지된 작업과 새로운 모델 백본에 대한 평가용으로 최종 진화된 하네스를 동결합니다.

주요 기여

1. 런타임 인터페이스 적응의 공식화: 이 논문은 모델 파라미터가 아닌 런타임 인터페이스를 최적화의 대상으로 삼는 에이전트 적응의 새로운 패러다임을 공식화합니다. 이 접근법은 환경 특정적이지만 모델 중립적입니다.
2. LIFE-HARNESS 프레임워크: 반복되는 궤적 실패를 환경 계약, 절차적 기술, 행동 실현, 궤적 조절을 위한 구조화되고 재사용 가능한 개입으로 변환하는 4 계층 수명 주기 인식 하네스를 도입했습니다.
3. 광범위한 교차 모델 일반화: 단일 모델 (Qwen3-4B-Instruct) 에서 진화한 하네스가 재학습 없이 17 개의 다른 다양한 모델 백본 (Llama 및 xLAM 계열 포함) 에서 성능을 크게 향상시킬 수 있음을 입증했습니다.

실험 결과

저자들은 세 가지 벤치마크 스위트 ($\tau$-bench, $\tau^2$-bench, AgentBench) 에 걸쳐 7 개의 결정론적 환경에서 LIFE-HARNESS 를 평가했습니다. 평가는 18 개의 모델 백본을 포함했습니다.

• 성능 향상: LIFE-HARNESS 는 126 개의 모델 - 환경 설정 중 116 개에서 성능을 향상시켰습니다. 평균 상대적 개선률은 **88.5%**였습니다.
• 교차 모델 전이: Qwen3-4B-Instruct 궤적만으로 진화된 하네스는 지시 미세 조정, 추론, 에이전트 특화 모델을 포함한 다른 모델들에도 효과적으로 전이되었으며, 이는 하네스가 모델 특정적 행동이 아닌 재사용 가능한 환경 측 구조를 포착함을 확인시켜 주었습니다.
• 베이스라인 비교:
  • 프롬프트 최적화: LIFE-HARNESS 는 프롬프트만 진화하는 방법에 비해 훨씬 더 큰 향상 (평균 상대적 개선 +120%) 을 달성하여, 입력 프롬프트뿐만 아니라 실행 인터페이스를 적응시키는 것의 중요성을 강조했습니다.
  • 모델 학습: 이 연구는 전문 도구 사용 학습 (예: xLAM 모델) 이 반드시 도메인 외 (OOD) 환경으로 일반화되지 않으며, 때로는 기본 모델보다 성능이 낮을 수 있음을 발견했습니다. 반면, 기본 모델 (Qwen2.5-32B) 에 적용된 LIFE-HARNESS 는 도메인 내에서 전문적으로 학습된 모델 (xLAM-2-32B) 보다 뛰어난 성능을 발휘하게 했으며, 해당 전문 모델 자체의 성능도 추가로 향상시켰습니다.
• 절제 연구: 네 가지 계층 중 하나를 제거하면 특정 데이터셋에서 성능이 크게 저하되어, 모든 계층이 필수적이며 서로 다른 실패 모드를 해결함을 확인했습니다.

중요성과 주장

이 논문은 런타임 인터페이스 적응을 모델 중심 에이전트 학습에 대한 상호 보완적 대안으로 위치시킵니다. 저자들은 결정론적 도메인에서 많은 실제 에이전트 실패가 모델 파라미터에 흡수될 필요가 없다고 주장합니다. 대신, 동결된 모델과 규칙 기반 환경 사이의 재사용 가능한 런타임 인터페이스를 진화시킴으로써 에이전트는 광범위하고 상당한 성과를 달성할 수 있습니다.

이 연구는 소프트웨어 엔지니어링 어시스턴트, OS 제어, 웹 탐색, 데이터베이스 조작과 같은 결정론적 규칙 기반 작업의 경우, 모델을 둘러싼 "발판"이 적응을 위한 높은 레버리지를 가진 대상임을 시사합니다. LIFE-HARNESS 는 모델 중립적, 비용 효율적(재학습 불필요), 해석 가능(개입이 특정 수명 주기 단계에 국한됨) 인 에이전트 성능 향상 경로를 제공합니다.

저자들은 한계를 인정하며, 이 접근법은 실패를 재현하고 개입으로 전환할 수 있는 안정적이고 결정론적인 환경에 의존한다고 명시합니다. 동적 목표와 도구를 가진 완전히 개방적이고 개방형 도메인 작업으로 확장하는 것은 향후 연구의 과제로 남아 있습니다.