기술 요약: 기술 프로그램으로 LLM 에이전트 활용하기 (HASP)

1. 문제 제기

대형 언어 모델 (LLM) 에이전트는 환경 계획 및 상호작용에서 점점 더 뛰어난 능력을 보여주고 있지만, 종종 검증 전에 종료하거나, 취약한 중간 결론에 매몰되거나, 비생산적인 행동을 반복하는 등 반복적인 실패 패턴을 보입니다. 이러한 실패를 완화하기 위한 기존 접근법은 과거 경험에서 도출된 텍스트 기반 기술에 의존하는 경우가 많습니다. 이러한 기술은 일반적으로 프롬프트에 주입되거나 조언 지침으로 사용됩니다. 그러나 본 논문은 텍스트 기반 기술이 다음과 같은 세 가지 핵심 한계를 겪고 있다고 주장합니다.

1. 조언적 성격: 원칙적으로 에이전트가 무엇을 해야 하는지를 표현하지만, 정책 루프 내에서 언제 활성화하거나 어떻게 개입할지에 대한 명시적 메커니즘이 부족합니다.
2. 약한 제어: 실제로는 모델에 의해 무시되는 경우가 많아 에이전트의 행동을 신뢰성 있게 변경하지 못합니다.
3. 실행 가능성 부재: 언어로 표현된 재사용 가능한 경험과 에이전트 행동을 명시적으로 제어할 수 있는 재사용 가능한 경험 사이에 간극이 존재합니다.

핵심적인 과제는 이러한 간극을 해소하여, 수동적인 텍스트 교훈을 에이전트의 의사결정 과정에 직접 개입할 수 있는 능동적이고 실행 가능한 메커니즘으로 변환하는 것입니다.

2. 방법론: HASP 프레임워크

저자들은 HASP(기술 프로그램으로 LLM 에이전트 활용하기) 를 소개하며, 기술을 수동적인 텍스트에서 프로그램 함수 (PFs) 로 업그레이드하는 프레임워크를 제시합니다. PF 는 재사용 가능하고 실행 가능한 상태 - 행동 개입 함수로 정의됩니다.

핵심 구성 요소

• 프로그램 함수 (PFs): 자연어 알림과 달리, PF 는 두 가지 명확한 인터페이스를 가진 실행 가능한 Python 모듈입니다.
  • should_activate(state, action): 현재 상태와 제안된 행동에 대해 기술이 관련 있는지 여부를 결정하는 결정론적 술어입니다.
  • intervene(state, action, teacher): 구조화된 개입을 반환하며, 이는 다음 중 하나일 수 있습니다.
    • Modify_Action: 다음 행동을 재작성하거나 정제합니다 (예: 과도하게 제한된 검색 쿼리 단축).
    • Inject_Context: 에이전트의 관찰에 교정 텍스트를 추가합니다 (예: 엔티티 혼동에 대한 경고).
    • NOOP: 변경을 보류하고 감사 기록을 남깁니다.
• 기술 라이브러리: 검증된 PF 들의 모음입니다. 새로운 후보는 실패 사례에서 생성되며, 구문 및 인터페이스 검증을 거쳐 교사 모델의 검토를 받은 후 승인됩니다.
• 하네스 (Harness): 기본 에이전트 정책 ($\pi_\theta$) 을 감싸는 외부 제어 계층입니다. 각 단계에서 하네스는 관련 PF 를 검색하고, 활성화 술어를 평가하며, 유효한 개입을 실행한 뒤 수정된 행동이나 주입된 컨텍스트를 루프로 다시 피드백합니다.

세 가지 운영 모드

HASP 는 매우 모듈화되어 설계되었으며, 세 가지 다른 패러다임을 지원합니다.

1. 추론 시간 개입: PF 는 런타임에서 실행 가능한 가드레일 역할을 합니다. 모델 가중치를 업데이트하지 않고 에이전트의 상태에 기반하여 자율적으로 트리거되어 행동을 수정하거나 컨텍스트를 주입합니다. 여러 후보가 존재할 경우, 선택적 보조 교사가 가장 적합한 PF 를 선택하는 데 도움을 줄 수 있습니다.
2. 사후 학습 (내재화): PF 실행은 원래 행동, PF 수정, 그리고 결과를 포함하는 구조화된 레코드를 생성합니다. 이러한 레코드는 시기 (Timing), 모드 (Mode), 정확도 (Correctness), 결과 (Outcome) 라는 네 가지 신호로 점수가 매겨집니다. 이러한 점수는 다음을 통해 사후 학습을 안내합니다.
   • 지도 미세 조정 (SFT): 수정된 행동을 기반으로 학습합니다.
   • 거부 샘플링 (RS): PF 가 안내한 수정과 일치하고 작업 성공을 달성하는 궤적을 선택합니다.
   • 온-정책 증류 (OPD): PF 가 개입한 학생 자신의 상태에 대해 학습합니다.
3. 자기 개선 진화: 시스템은 현재 체크포인트 하에서 잔여 실패를 재검토하고, 반복되는 실패 - 수정 패턴을 후보 PF 로 요약한 뒤, 엄격한 실행 가능 검증과 교사 검토를 거쳐 외부 기술 라이브러리를 업데이트합니다. 이는 실행, 학습, 라이브러리 성장 사이의 루프를 닫습니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 제시합니다.

1. 실행 가능한 상태 - 행동 함수로서의 기술: 재사용 가능한 에이전트 경험을 실행 가능한 프로그램 함수로 변환하여 필요 시 트리거되고 명시적으로 개입하도록 하며, 수동적인 텍스트 기반 기술을 넘어섭니다.
2. 모듈형 에이전트 하네스 프레임워크: 추론 전용, 사후 학습, 자기 개선 패러다임 전반에 걸쳐 제어 가능한 PF 트리거 및 개입을 지원하는 HASP 제안.
3. 강력한 경험적 성능: 웹 검색 추론, 수학 추론, 코딩 작업 전반에 걸쳐 경쟁력 있는 베이스라인 대비 상당한 개선을 입증했습니다.

4. 실험 결과

저자들은 HotpotQA, 2Wiki, MuSiQue(웹 검색), AIME24, AMC23, GameOf24(수학), 그리고 HumanEval, MBPP, BigCodeBench(코딩) 에서 HASP 를 평가했습니다. 베이스 모델은 Qwen2.5-7B-Instruct였습니다.

주요 발견 사항

• 추론 시간 개선: 모델 업데이트 없이 PF 만으로 개입한 경우에도 베이스라인보다 훨씬 우수한 성능을 보였습니다.
  • 웹 검색 추론에서 PF 만으로 개입한 경우 평균 정확도가 51.0% 로 향상되었습니다 (프롬프트 전용 기술은 20.5%, 멀티 루프 ReAct 베이스라인은 31.2%).
  • PF 선택을 위한 보조 교사를 추가하면 웹 검색 정확도가 56.2% 로 추가 향상되었습니다.
  • 코딩 작업에서 PF 만은 pass@1 기준 63.4% 를 달성했으며, 교사 선택을 적용하면 68.7% 로 상승했습니다.
• 사후 학습 내재화: PF 에서 파생된 지도 학습을 통해 모델은 완전한 강화 학습 없이도 행동을 내재화할 수 있었습니다.
  • 웹 검색에서 온-정책 증류 (OPD) 는 62.5% 를 달성했고, 거부 샘플링 (RS) 은 고정된 라이브러리 하에서 59.3% 를 기록했습니다.
  • 이러한 결과는 표준 SFT 및 기술 기반 학습 방식과 경쟁하거나 더 우수했습니다.
• 폐루프 진화: 기술 라이브러리의 통제된 진화는 성능을 추가로 향상시켰습니다.
  • HASP-Evolve + RS 는 웹 검색에서 60.3%, 수학 추론에서 45.4% 를 달성했습니다.
  • 코딩 작업에서는 pass@1 기준 69.9% 를 달성하여 일반 SFT 보다 12.4% 더 우수했으며, GRPO 기반 방법과도 경쟁력을 보였습니다.
• 메커니즘 분석:
  • 개입 유형: 개입의 65.1% 가 행동 수준 수정 (예: 쿼리 재작성) 이었으며, 34.9% 는 컨텍스트 주입이었습니다.
  • 신호 중요성: 제거 실험 (Ablation studies) 은 네 가지 지도 신호 (시기, 모드, 정확도, 결과) 가 모두 필요함을 보여주었습니다. "모드"를 제거하면 가장 큰 하락 (-15.5%) 이 발생하여, 개입이 언제 적용되는지만큼 어떻게 적용되는지도 중요함을 나타냈습니다.
  • 필터링 필요성: 엄격한 필터링 (실행 가능 검증 + 교사 검토) 이 필수적이었습니다. 필터링되지 않은 진화는 성능이 급격히 하락 (-24.0%) 하여, 라이브러리 오염이 에이전트 성능을 저하시킨다는 것을 확인시켰습니다.

5. 의의 및 주장

본 논문은 HASP 를 LLM 에이전트 개선을 위한 보완적 경로로 위치시킵니다. 저자들은 다음과 같이 주장합니다.

• 발견보다 안정화: PF 는 모델이 종종 실행할 수 있지만 신뢰성 있게 적용하지 못하는 유용한 전략을 표면화하고 안정화하는 데 도움을 줍니다. 이는 근본적으로 새로운 전략을 발견하는 데 더 적합한 RL 스타일의 탐색과 대조됩니다.
• 명시적 제어: 기술을 실행 가능한 코드로 변환함으로써 HASP 는 에이전트 행동에 대한 명시적이고 감사 가능한 제어를 제공하며, 프롬프트 기반 기술의 "조언적" 약점을 해결합니다.
• 모듈성: 이 프레임워크는 기술 정의와 학습 목표를 분리하여, 동일한 PF 를 런타임 개입, 지도 학습, 또는 자기 개선에 사용할 수 있게 합니다.

저자들은 한계에 대해 겸손하게 언급하며, PF 는 주로 새로운 것을 발견하기보다 기존 전략을 흡수하는 데 도움을 준다는 점, 프레임워크가 명확한 검증 신호에 의존하여 개방형 작업의 적용 범위가 제한된다는 점, 그리고 자기 개선은 라이브러리 악화를 방지하기 위해 엄격한 필터링이 필요하다는 점을 지적합니다. 결론적으로, 새로운 전략 발견을 위해서는 더 광범위한 RL 스타일의 탐색이 여전히 필요할 수 있지만, PF 는 복잡하고 장기적인 작업에서 에이전트 행동을 정제하고 안정화하는 강력한 메커니즘을 제공한다고 결론지었습니다.