기술 요약: GRASP (게이트드 리그레이션 인식 스킬 제안자)

문제 정의

구조화된 환경 (예: 전자의무기록, 데이터베이스, 웹 인터페이스) 에서 작동하는 대규모 언어 모델 (LLM) 에이전트는 대화적 오해가 아닌 환경 규칙의 운영상 위반으로 인해 자주 실패합니다. 이러한 맥락에서의 신뢰성은 일반적인 언어 능력보다는 해당 환경에 특화된 절차적 지식에 달려 있습니다.

이전의 자기 개선 방법들은 일반적으로 추론 과정에서 자연어 기반의 안내 (성찰, 규칙, 또는 스킬) 를 단조롭게 축적해 왔습니다. 이러한 접근법의 치명적인 결함은 기존 행동에 대한 검증이 부재하다는 점입니다. 하나의 실패 궤적을 수정하는 새로운 메모나 규칙이 이전에 정확했던 궤적들의 성능을 침묵 속에서 퇴보시킬 수 있습니다. 시간이 지남에 따라 이러한 무제한적인 축적은 작업 관련 내용을 희석시키고, 에이전트의 컨텍스트 창을 저하시키며, 치명적인 망각이나 성능의 진동을 초래합니다.

방법론: GRASP

저자들은 **GRASP (Gated Regression-Aware Skill Proposer, 게이트드 리그레이션 인식 스킬 제안자)**를 소개합니다. 이는 모델 파라미터를 업데이트하지 않고, 행동 지침 (스킬) 의 유한한 라이브러리에 대한 검증된 편집의 연속으로 에이전트 자기 개선을 다루는 프레임워크입니다.

핵심 구성 요소

1. 구조화된 스킬: 스킬은 트리거 조건, 행동 규칙, 선택적 검증 단계, 그리고 대조적 예시를 포함하는 YAML 프론트매터가 있는 마크다운 문서입니다. 이들은 추론 시 에이전트의 컨텍스트에 주입됩니다.
2. 실패 기반 제안:
   • 실패 궤적은 wrong_answer와 같은 일반적인 실패가 아닌 date_filter_omitted와 같은 메커니즘 특이적 실패 모드별로 그룹화됩니다.
   • 스킬 작성 모델은 가장 빈번한 실패 모드에 대한 편집 (ADD, MODIFY, 또는 REMOVE) 을 제안하며, 다른 실패 모드의 활성 스킬 요약 및 라벨을 활용하여 리그레이션을 억제합니다.
   • 라이브러리는 용량이 제한되어 있으므로, 용량이 확보되지 않는 한 스킬을 추가하려면 기존 스킬을 제거해야 합니다.
3. 리그레이션 인식 선택 (게이트):
   • 승인 전에 모든 후보 편집은 개발 분할에서 이전에 실패했던 예시와 이전에 통과했던 예시로 구성된 균형 잡힌 홀드아웃 프로브에서 평가됩니다.
   • 시스템은 현재 라이브러리를 프로브에 다시 실행하여 기준선 ($F_0, R_0$) 을 계산합니다.
   • 후보 라이브러리 ($S_c$) 는 다음 조건을 충족할 때만 승인됩니다:
     1. 순 개선 효과를 산출할 것: $(F(c) - F_0) - (R(c) - R_0) > 0$.
     2. 엄격한 리그레이션 예산을 준수할 것: $R(c) \le R_0$ (기존 기준선 이상의 새로운 리그레이션 없음).
   • 최선의 후보가 리그레이션을 초래하는 경우, 대조적 수정 단계가 트리거를 좁히거나 가드 절을 추가하려는 시도를 합니다.

훈련 프로토콜

GRASP 는 개발 분할을 통해 배치 단위로 작동합니다. 각 배치 후 스킬 작성자가 후보를 생성하며, 이는 프로브에서 점수를 매깁니다. 가장 유효한 최선의 후보가 라이브러리에 적용됩니다. 이 과정은 여러 에포크에 걸쳐 반복됩니다. 파라미터 업데이트는 발생하지 않으며, 오직 스킬 라이브러리만 진화합니다.

주요 기여

1. 게이트드 편집 vs 단조로운 축적: GRASP 는 안내의 무제한 축적에서 유한하고 검증된 편집으로 패러다임을 전환합니다. 이는 하나의 오류를 수정하는 것이 다른 오류를 깨뜨리는 "침묵스러운 리그레이션" 문제를 방지합니다.
2. 콘텐츠가 아닌 메커니즘의 검증: 제거 실험 (Ablation studies) 은 성능 향상이 단순히 스킬을 작성하는 행위가 아니라 검증 게이트와 비교적 제안 생성에 의해 주도됨을 보여줍니다. 게이트가 없으면 스킬 작성은 스킬을 사용하지 않는 경우보다 더 나은 성과를 내지 못합니다.
3. 모델 간 및 벤치마크 간 전이:
   • 비대칭 전이: 더 강력한 모델 (예: GPT-5.4) 이 작성한 라이브러리는 분포 외 (OOD) 작업에서 더 약한 실행자의 성능을 크게 향상시키며, 종종 약한 모델이 스스로 학습하는 것보다 더 나은 결과를 냅니다. 반대 (약한 모델에서 강력한 모델로) 는 성립하지 않습니다.
   • 환경 특이적 지식: 이러한 비대칭성은 라이브러리가 모델 특이적 패턴이 아닌 환경 특이적 절차적 지식을 인코딩함을 시사합니다.
   • 일반화: 이 메커니즘은 검증 가능한 구조를 가진 작업이 있는 비임상 환경 (ALFWorld, WebShop) 에서 성능을 향상시키지만, 행동 공간이 개방형인 경우 (OS Interaction) 에는 성능 향상을 이루지 못합니다.
4. 효율성과 감사 가능성: GRASP 는 평균 약 5 개의 스킬, 약 5.6k 토큰으로 구성된 작고 버전 관리된 라이브러리를 유지하며, 이는 무제한 메모리 기준선 (34k~53k 토큰) 보다 훨씬 작아 추론 비용을 줄입니다. 구조화된 형식은 인간의 감사와 되돌릴 수 있는 편집을 가능하게 합니다.

실험 결과

저자들은 두 개의 FHIR 기반 임상 벤치마크 (MedAgentBench, MedAgentBench-v2) 와 네 개의 비임상 AgentBench 환경에서 다섯 개의 기본 모델 (gpt-oss-120b, DeepSeek V4 Flash, Gemini 3.1 Flash Lite, GPT-4.1, GPT-5.4) 에 대해 GRASP 를 평가했습니다.

• MedAgentBench 성능: GRASP 는 메모리 기반 및 규칙 추출 방법을 포함한 다섯 개의 기준선보다 크게 우월한 성능을 보였습니다.
  • gpt-oss-120b에서 GRASP 는 정확도를 (스킬 없음) **40.6%**에서 **88.8%**로 끌어올렸으며, 이는 기준선 대비 48.2 포인트, 가장 강력한 경쟁자 (Evo-MedAgent) 대비 21.0 포인트의 향상입니다.
  • 모든 모델에서 유사한 개선이 관찰되었으며, 각 기준선 대비 17.2 에서 40.3 포인트 사이의 향상을 보였습니다.
  • OOD 분할에서 GRASP 는 gpt-oss-120b 에서 최상위 기준선 대비 25.0 포인트의 우위를 점했습니다.
• 제거 실험 (Ablation) 결과:
  • 승인 게이트를 제거하면 성능이 스킬이 없는 기준선 수준 (40.1% 대 40.6%) 으로 떨어졌습니다.
  • 리그레이션 예산을 제거하면 성능이 7.0 포인트 감소했습니다.
  • "수정 전용" 선택 (통과한 예시 무시) 은 성능을 8.6 포인트 감소시키고 분산을 증가시켰습니다.
• 전이 결과:
  • GPT-5.4 로 훈련된 라이브러리를 gpt-oss-120b 에 적용한 결과, OOD 정확도가 56.3% 에서 77.8% 로 향상되었습니다 (+21.5 포인트).
  • MedAgentBench 변형 간에는 벤치마크 간 전이가 작동했으나, FHIR-AgentBench 에서는 성능이 저하되어 스킬이 일반적인 임상 역량이 아닌 특정 인터페이스 관습에 묶여 있음을 나타냈습니다.

중요성 및 주장

이 논문은 에이전트 자기 개신을 유한한 라이브러리의 게이트드 편집으로 다루는 것이 절차적 신뢰성이 중요한 환경에서 점진적 정제를 위한 견고한 경로라고 주장합니다.

• 절차적 신뢰성: 이 방법은 단조로운 축적이 컨텍스트를 저하시키는 이전의 구두 피드백 방법의 특정 실패 모드를 해결합니다.
• 파라미터 없는 증류: 비대칭적인 모델 간 전이는 더 강력한 모델이 환경에 대한 운영적 사실을 약한 모델이 스스로 생성할 수는 없더라도 따를 수 있는 라이브러리로 증류할 수 있음을 시사합니다.
• 실용적 배포: 유한하고 감사 가능한 스킬 라이브러리의 특성은 에이전트가 전체 재훈련 없이도 검사 가능하고 수정 가능해야 하는 고위험 분야 (임상 환경 등) 에 배포하기에 적합합니다.
• 한계: 저자들은 검증 단계가 주된 계산 비용이라고 지적합니다. 또한, 스킬은 실제 의료 전문성이 아닌 기준점 정답에 대한 정확한 일치와 같은 벤치마크 채점 기준에 맞춰진 정책이므로, 실제 세계 배포를 위해서는 임상가의 검토가 필요합니다. 이 방법은 또한 어떤 방법도 성공적으로 최적화하지 못한 특정 벤치마크의 고정된 행동 예산에 의해 제한됩니다.

요약하자면, GRASP 는 검증된 편집이 구조화된 에이전트 환경에서 개선의 주요 동력임을 보여주며, 오직 스킬 생성이나 무제한 메모리 축적에 의존하는 방법들을 능가합니다.