기술 요약: 프로비넌스 분석(Provenance Analysis)을 통한 LLM 에이전트의 정렬 불량 방지

문제 정의

LLM 에이전트가 단순한 대화형 어시스턴트에서서 자율적인 시스템(예: 송금, 파일 수정 등 돌이킬 수 없는 동작을 실행할 수 있는 시스템)으로 진화함에 따라, 에이전트의 행동이 사용자의 의도와 일치하도록 보장하는 것이 매우 중요해졌습니다. 본 논문은 **정렬 불량(misalignment)**을 에이전트가 제안한 도구 호출(tool invocation)이 사용자의 의도에서 벗어나는 현상으로 정의합니다. 이는 반드시 악의적인 의도 때문이 아니라, 사용자의 요청에 대한 오해나 정당화되지 않은 가정 때문에 발생합니다.

기존의 런타임 가드레일은 단일 LLM 프롬프트가 특정 동작의 허용 여부를 평가하는 "LLM-as-a-judge" 패러다임에 의존하는 경우가 많습니다. 저자들은 이러한 접근 방식이 정렬을 추론하기 위한 체계적인 프레임워크가 부족하여, 판단의 일관성이 떨어지고, 근거가 주관적이며, 감사가 어렵다고 주장합니다. 또한, 샌드박싱(sandboxing)과 같은 전통적인 안전 조치는 결과의 영향을 제한할 뿐, 최초의 정렬 불량된 동작 자체를 방지하지는 못하며, 사후 검증(post-hoc verification)은 이미 실행된 돌이킬 수 없는 도구 호출을 되돌릴 수 없습니다.

방법론

1. 개념적 프레임워크: 프로비넌스 기반 가드레일

프로비넌스 분석(아티팩트의 기원 및 유래 이력을 연구하는 분야)에서 영감을 받아, 저자들은 에이전트의 컨텍스트 내에서 **추적 가능한 증거(traceable evidence)**에 의해 뒷받침될 때만 동작이 정렬되었다고 간주하는 프레임워크를 제안합니다. 여기서 컨텍스트에는 사용자 쿼리($q$), 도구 문서($d$), 그리고 상호작용 이력($h$)이 포함됩니다.

이 프레임워크는 정렬 불량 탐지를 세 가지 뚜-별한 유형으로 분류하여 정식화하며, 각 유형은 특정 프로비넌스 관계의 결여에 대응합니다.

• 도구 수준 정렬 불량 (Tool-Level Misalignment): 에이전트가 작업과 무관한 도구를 선택하는 경우.
  • 프로비넌스 체크: 선택된 도구($t$)의 문서($d_t$)가 하위 작업($s$)에 관련이 있고(RelevantTo), 해당 하위 작업이 사용자 쿼리($q$)에 기여하는가(ContributesTo)?
• 파라미터 수준 정렬 불량 (Parameter-Level Misalignment): 에이전트가 올바른 도구를 선택했으나, 컨텍스트에 근거하지 않은 파라미터를 할당하는 경우.
  • 프로비넌스 체크: 파라미터 할당($a$)이 쿼리나 이력에 등장하는 사실적 증거($e$)로부터 유도될 수 있는가(DerivedFrom)? 또한, 인스턴스화된 도구($t$와 $a$)가 해당 하위 작업($s$)을 해결할 수 있는가(CanAddress)?
  • 참고: 프레임워크는 유도 가능한(derivable) 파라미터(프로비넌스 추적이 필요한 것)와 생성적(generative) 파라미터(예: 이메일 본문 초안 작성)를 구분합니다.
• 해석 수준 정렬 불량 (Interpretation-Level Misalignment): 여러 가지 타당한 해석이 존재함에도 불구하고, 에이전트가 불충분하게 명시된 쿼리에 대해 임의로 하나의 해석을 확정하는 경우.
  • 프로비넌스 체크: 제안된 동작이 컨텍스트를 고려했을 때 유일하게 프로비넌스상 허용 가능한 후보인가? 만약 여러 개의 서로 다른 동작이 컨텍스트에 의해 지원된다면, 해당 쿼리는 미지정(underspecified) 상태이며, 명확한 확인 없이 하나를 확정하는 것은 정렬 불량입니다.

2. 구현: ProvenanceGuard

저자들은 이 프레임워크를 도구 호출을 실행 전에 가로채는 다단계 런타임 파이프라인인 ProvenanceGuard로 구현했습니다. 단일 단계의 "LLM-as-a-judge"와 달리, ProvenanceGuard는 의사결정을 세 가지 순차적 단계로 분해합니다.

1. 1단계 (도구 수준): 환경을 변화시키는 도구를 필터링하고, 선택된 도구가 에이전트의 현재 하위 작업 계획과 관련이 있는지 검증합니다.
2. 2단계 (파라미터 수준): 유도 가능한 파라미터를 식별하고, 그 값이 컨텍스트로부터 추적 가능한지, 그리고 해당 도구가 하위 작업을 올바르게 인스턴스화하는지 검증합니다.
3. 3단계 (해석 수준): 편향을 피하기 위해 에이전트가 선택한 동작을 공개하지 않은 채, LLM에게 다른 프로비넌스 허용 가능한 동작이 존재하는지 묻습니다. 만약 여러 개가 존재한다면, 이는 정당화되지 않은 가정을 바탕으로 한 것이므로 차단됩니다.

시스템은 특정 프로비널스 관계(예: RelevantTo, DerivedFrom)를 평가하기 위해 LLM을 활용하지만, 전체적인 프롬프트보다 더 명시적이고 감사 가능한 방식으로 추론 과정을 구조화합니다.

주요 기여

1. 정렬 불량의 분류 체계: 도구 수준, 파라미터 수준, 해석 수준 정렬 불량에 대한 공식적인 구분을 제시했습니다.
2. 프로비넌스 기반 프레임워크: 도구 호출이 추적 가능한 증거에 근거하는지를 결정하는 것으로 정렬 확인을 프레임화한 개념적 모델을 제시했습니다.
3. ProvenanceGuard: 프레임워크를 런타임 가드레일로 구현한 다단계 파이프라인입니다.
4. 벤치마킹: 두 가지 벤치마크(Agent-SafetyBench 및 WorkBench)와 10개의 백본 LLM을 대상으로 평가를 수행했으며, 여기에는 수동으로 주석을 달은 Agent-SafetyBench 트레이스의 일부가 포함됩니다.

실험 결과

저자들은 ProvenanceGuard를 DirectPrompt Baseline(표준 LLM-as-a-judge) 및 Single-step Provenance Prompt(프레임워크 개념을 단일 패스로 사용하는 ProvePrompt)와 비교 평가했습니다.

• 정렬 불량 탐지 (오류율):
  • Agent-SafetyBench(미지정 상황에 집중)에서 ProvenanceGuard는 정렬 불량 트레이스에 대한 오류율을 42.9%(Baseline)에서 **1.8%**로 낮추었습니다.
  • WorkBench에서 오류율은 **32.1%**에서 **17.3%**로 감소했습니다.
  • 다단계 설계(ProvenanceGuard)는 단일 단계 변형(ProvePrompt)보다 일관되게 우수한 성능을 보였으며, 특히 Agent-SafetyBench에서 두드러졌는데, 이는 추론 과정을 분해하는 것의 가치를 시사합니다.
• 개입 비용 (가양성/불필요한 개입):
  • Agent-SafetyBench(정렬된 트레이스)에서 ProvenanceGuard는 Baseline에 비해 불필요한 개입을 통계적으로 유의미하게 증가시키지 않았습니다.
  • WorkBench(작업 성공 트레이스)에서 ProvenanceGuard는 개입률을 30.5%(Baseline)에서 **12.8%**로 크게 감소시켰으며, 이는 올바른 동작을 진행시키는 데 있어 Baseline보다 더 정밀함을 나타냅니다.

의의 및 주장

본 논문은 구조화된 프로비넌스 기반 추론이 LLM 에이전트를 보호하기 위한 효과적이고 실용적인 토대를 제공한다고 주장합니다. 그 의의는 다음과 같습니다:

• 체계적 추론: 주관적이고 총체적인 판단에서 벗어나, 동작과 컨텍스트 사이의 명시적이고 감사 가능한 의존성 링크를 기반으로 하는 프레임워크로 전환했습니다.
• 미지정(Underspecification) 처리: 표준 안전 필터가 놓치기 쉬운 흔한 정렬 불량 원인인, 미지정된 쿼리에 대한 에이전트의 정당화되지 않은 가정을 구체적으로 다룹니다.
• 균형 잡힌 성능: 다단계 접근 방식은 유효한 에이전트 작업을 차단하는 과도한 비용을 초래하지 않으면서도, 정렬 불량된 동작에 대한 높은 탐지 정확도를 달achios합니다.

저자들은 비록 이 프레임워크가 순수 생성적 파라미터(예: 자유 형식의 텍스트 생성)에서의 정렬 불량을 탐지할 수는 없으며 에이전트 자신의 계획(이론적으로 정렬 불량될 수 있음)에 의존한다는 한계가 있지만, 에이전트 시스템에서 돌이킬 수 없고 컨텍스트에 근거하지 않은 동작을 방지하는 강력한 메커니즘을 제공한다고 결론짓습니다.