기술 요약: ANNEAL – 지배적 기호 패치 학습을 통한 LLM 에이전트 적응

1. 문제 제기

대형 언어 모델 (LLM) 기반 에이전트는 단일 작업 에피소드 내에서 실행 오류로부터 복구할 수 있는 능력 (예: 실패한 작업 재시도) 을 갖추고 있습니다. 그러나 근본적인 프로세스 지식, 즉 연산자 스키마, 전제 조건, 제약 조건이 수정되지 않은 상태에서는 반복적인 결함을 제거하지 못하는 경우가 많습니다. 기존의 자기 진화 접근법은 프롬프트, 메모리 버퍼, 또는 기반 모델 가중치를 업데이트함으로써 이러한 문제를 해결하려 시도합니다. 그러나 이러한 방법들은 두 가지 주요 한계를 겪고 있습니다:

1. 구조적 수리의 부재: 에이전트가 기억하는 내용이나 프롬핑 방식을 적응시키기는 하지만, 작업 실행 로직을 인코딩하는 타입 지정 기호 구조를 직접 수리하지는 않습니다. 결과적으로 동일한 구조적 결함이 새로운 작업에서도 반복될 수 있습니다.
2. 지배력 결핍: 규범과 API 가 진화하는 오픈 월드 환경에서 안전한 배포에 필요한 보증 (출처, 가드레일, 롤백) 을 제공하는 시스템은 거의 없습니다.

본 논문은 반복적인 고장을 영구적인 구조적 수정으로 전환하는 것이 전문성의 핵심이며, 이는 현재 LLM 에이전트가 결여한 능력이라고 주장합니다.

2. 방법론: ANNEAL

ANNEAL 는 기반 모델 가중치를 수정하지 않고 반복적인 실패를 프로세스 지식 그래프 (PKG) 의 지배적 기호 편집으로 전환하도록 설계된 신경 - 기호 에이전트입니다. 이 시스템은 HTN 플래너, 타입 지정 기호 상태, 실행기, 메타인지 컨트롤러, 경험 풀로 구성된 폐쇄 루프 아키텍처에서 작동합니다.

핵심 메커니즘: 실패 주도 지식 획득 (FDKA)

FDKA 는 실행 실패를 검증된 구조적 패치로 변환하는 중심 파이프라인입니다. 이는 LLM 을 폐쇄된 타입 지정 스키마 하의 제약된 코드 생성기로만 취급하여 모든 승인 로직이 기호적이고 감사 가능하도록 보장합니다. 파이프라인은 여섯 단계로 구성됩니다:

1. 국소화: 실패 트레이스를 기반으로 시스템은 심볼릭 델타, 도구 로그 유사성, 파서 신뢰도에 따라 책임이 있는 연산자 (예: 특정 예약 도구) 를 식별하기 위해 연산자에 점수를 매깁니다.
2. 제약 생성: LLM 은 세 단계 프로세스를 통해 패치 (예: 전제 조건 추가) 를 합성합니다: 트레이스를 JSON 으로 직렬화, 폐쇄된 스키마 (전제 조건 추가, 효과 정제, 도구 스키마 업데이트) 로 제한된 편집 생성, 그리고 출력의 결정론적 파싱.
3. 다차원 점수 매기기: 제안된 편집은 다음을 가중치로 하는 점수 함수를 통해 집계됩니다:
   • 타당성: LLM 의 학습된 분포와의 정렬.
   • 일관성: 심볼릭 휴리스틱 또는 Z3 SMT 솔버를 통해 검증된 논리적 무결성.
   • 유틸리티: 검색된 트레이스에 대한 반사실적 재생을 통한 추정된 실패 예방.
   • 위험: 가치 위반 확률과 폭발 반경.
4. 가드레일 검증: 두 개의 하드 거부 게이트가 점수와 무관하게 독립적으로 작동합니다:
   • 가치 가드레일: 윤리적 또는 정책적 제약을 위반하지 않도록 의무/금지/허용과 같은 의무론적 규칙을 확인합니다.
   • 인과적 가드레일: 편집이 충분한 식별 가능성을 가지며 과도한 영향을 전파하지 않도록 보장합니다.
5. 스테이징 및 캐너리 테스트: 점수 매기기와 가드레일을 통과한 편집은 샌드박스 테스트 (최대 8 회 실행) 를 거칩니다. 패치가 테스트 중 하나라도 실패하면 거부됩니다.
6. 커밋 및 롤백: 승인된 패치는 전체 출처 (소스, 입력, 근거) 와 결정론적 롤백 세트와 함께 커밋됩니다. 신뢰 점수는 베타 - 베르누이 사전 분포를 통해 초기화되며, 후속 작업에서 낮은 신뢰도를 보이는 패치는 자동으로 롤백됩니다.

메타인지 제어

불확실성 ($u$) 과 위반 확률 ($p_{viol}$) 에 기반하여 세 가지 경로 사이를 조정하는 단계 인식 제어 루프가 있습니다:

• S1 (고속 경로): 표준 실행.
• S2 (숙고 경로): 높은 불확실성 하에서 확장된 계획을 위해 활성화됨.
• VERIFY (실행 전 검증): 위반 위험이 높을 때 실행 전 전제 조건을 확인하기 위해 활성화되며, 지역적 수리를 유발하거나 계획을 차단할 수 있음.

3. 주요 기여

논문은 네 가지 주요 기여를 제시합니다:

1. 지배적 실패 주도 지식 획득 (FDKA): 폐쇄된 JSON 스키마 하에서 타입 지정 기호 편집을 합성하고 다차원 점수 매기기, 가치/인과적 가드레일, 캐너리 배포를 통해 검증하는 파이프라인. 보고된 실행에서 이 방법은 100% 패치 승인률을 달성했으며 관찰된 롤백은 없었습니다.
2. 메타인지 조정: 불확실성과 위반 신호에 기반하여 적응 경로를 조절하는 제어 루프. 제거 실험 (Ablation studies) 에 따르면, 이 조정을 제거할 경우 복합 정책 변화가 다중 위반 체인을 생성하는 확률적 환경에서 성공률이 4.7% 포인트 감소했습니다.
3. 종합적 지배 범위: 모든 커밋된 편집에는 출처, 신뢰 점수, 인간 개입 게이트, 결정론적 롤백이 포함됩니다. 전용 스트레스 벤치마크는 커밋 전 인증 민감 스키마 편집에서 100% 결정 정확도를 확인했습니다.
4. 구조적 수리의 경험적 증거: 네 가지 도메인 (여행, 전자상거래, ITSM) 과 27 개의 멀티 시드 실행을 통해 ANNEAL 은 영구적인 구조적 수리를 커밋한 유일한 평가 시스템입니다. ReAct 및 Reflexion 과 같은 베이스라인은 높은 에피소드 복구를 달성하지만, 반복적인 결함에 대해 72~100% 의 홀드아웃 실패율을 유지합니다. ANNEAL 은 이를 0% 로 줄입니다.

4. 결과

• 반복적 실패 제거: 반복적인 API 드리프트 및 정책 위반을 포함하는 스트레스 테스트에서 ANNEAL 의 커밋된 패치는 홀드아웃 실패율을 0% 로 줄였습니다. 반면, ReAct 와 Reflexion 은 높은 에피소드 성공률에도 불구하고 근본적인 연산자 정의를 수리하지 않아 72~100% 의 홀드아웃 실패율을 유지했습니다.
• 성공률: ANNEAL 은 도메인 전반에 걸쳐 94.7~100% 의 작업 성공률을 달성했습니다. 전자상거래 도메인에서는 스키마 업데이트, 전제 조건 추가, 효과 정세라는 세 가지 편집 카테고리에 걸쳐 실행당 평균 2.7 개의 패치를 커밋했습니다.
• 제거 실험 (Ablation Studies):
  • FDKA 를 제거하면 모든 구조적 수리가 사라졌으며 전자상거래 성공률은 26.7% 포인트 하락했습니다.
  • 메타인지 조정을 제거하면 확률적 여행 시나리오에서 성공률이 4.7% 포인트 하락했습니다.
  • 지배력을 제거할 경우 (특정 스트레스 스위트에서) 안전하지 않은 스키마 편집이 커밋되어, 안전이 중요한 도메인에서 가드레일의 필요성을 입증했습니다.
• 효율성: 전체 적응 주기 (실패에서 성공적인 재계획까지) 는 2 분 미만이 소요되며 모델 재학습이 필요하지 않습니다.

5. 의의 및 주장

본 논문은 지배적 기호 수리가 영구적 결함 제거를 위한 가중치 수준 및 프롬프트 수준 적응에 대한 보완적 패러다임을 제공한다고 주장합니다.

• 좁지만 구체적인 기여: 저자들은 명시적으로 기여가 "의도적으로 좁다"고 밝힙니다. 모든 자기 진화 에이전트에 대한 광범위한 일반적 우월성을 주장하지 않습니다. 대신 높은 에피소드 복구 (예: Reflexion 의 97.6% 성공) 가 영구적 결함 제거를 의미하지는 않음을 입증합니다.
• 감사 가능한 적응: 기반 모델 외부의 명시적 기호 프로세스 지식을 편집함으로써 ANNEAL 은 변경 사항을 직접 감사 가능하고, 가역적이며, 지배 제약과 호환되도록 만들어 가중치 기반 미세 조정의 "블랙박스" 성격을 해결합니다.
• 연산자 중심 전이: 결과는 ANNEAL 이 연산자 중심 결함을 수리하고 동일한 온톨로지 내 작업 간에 이러한 수리를 전이할 수 있음을 지지하지만, 논문은 임의 도메인 자율성과 더 넓은 일반화는 여전히 열린 과제임을 인정합니다.

이 연구는 감사 가능성이 전제 조건인 생산 환경에서의 안전한 배포를 위해 반복적인 실패를 지배적 기호 편집으로 전환하는 것이 모델 재학습에 대한 실현 가능하고 필수적인 대안임을 시사합니다.