💬 NLP

PolicyBank: Evolving Policy Understanding for LLM Agents

이 논문은 사전 배포 테스트 중 발생하는 피드백을 통해 에이전트가 정책의 모호성과 논리적 공백을 스스로 보완하도록 하는 'PolicyBank' 메모리 메커니즘을 제안하고, 기존 시스템이 해결하지 못했던 정책 간극을 인간 오라클 수준까지 82%까지 축소하는 효과를 입증합니다.

원저자: Jihye Choi, Jinsung Yoon, Long T. Le, Somesh Jha, Tomas Pfister

게시일 2026-04-20

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Jihye Choi, Jinsung Yoon, Long T. Le, Somesh Jha, Tomas Pfister

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

정책뱅크 (PolicyBank): AI 에이전트가 실수를 통해 배우는 '스마트 메모장'

이 논문은 LLM(대형 언어 모델)이 어떻게 조직의 규칙을 더 잘 이해하고, 규칙 자체가 잘못되었을 때 스스로 고쳐나갈 수 있는지에 대한 연구입니다.

기존의 AI 는 "규칙은 절대적인 진리"라고 믿고 그대로 따르다가, 규칙에 오류가 있으면 그 오류를 고집하며 엉뚱한 행동을 하곤 했습니다. 하지만 이 논문에서 제안하는 PolicyBank는 AI 가 실수를 통해 규칙의 숨은 의미를 깨닫고, 스스로 규칙 해석을 업데이트하는 방식을 소개합니다.

🍕 비유로 이해하는 핵심 개념

이 복잡한 기술을 쉽게 이해하기 위해 피자 가게와 신규 직원의 이야기를 상상해 보세요.

1. 문제 상황: "잘못된 메뉴판"과 "순수한 신입 사원"

상황: 피자가게에 "비행기가 지연되면 고객이 변경이나 취소를 요청할 때만 $50 쿠폰을 드립니다"라고 적힌 메뉴판 (규칙) 이 있습니다.
사실: 가게 주인 (진짜 요구사항) 은 "비행기가 지연된 고객이라면, 변경을 안 하더라도 쿠폰을 줘야 한다"고 생각했습니다. 하지만 메뉴판에는 '변경/취소' 조건이 실수로 붙어 있었습니다.
**기존 AI **(신입 사원) 메뉴판을 맹신합니다. 고객이 "비행기가 지연됐는데 쿠폰 주세요"라고 해도, "변경이나 취소 요청이 없네요? 죄송합니다"라고 거절합니다.
- 결과: 사원은 메뉴판을 잘 따랐지만 (Compliant), 고객은 불만족합니다 (Wrong). 이것이 **'규칙 간극 **(Policy Gap)입니다.

2. 기존 해결책의 한계: "기억력만 좋은 사원"

기존의 AI 기술들은 과거의 성공 사례를 기억하거나 (Synapse, AWM 등), 실패한 일을 반성합니다 (Reflexion). 하지만 이들은 **"메뉴판 **(규칙)입니다.

마치 "메뉴판이 잘못됐으니, 메뉴판을 다시 읽어야지!"라고 생각하지 않고, "내가 주문을 잘못 들었나?"라고 자책만 하는 것과 같습니다.
그래서 메뉴판의 오류가 있는 상황에서는 아무리 똑똑한 AI 도 계속 실수를 반복합니다.

3. PolicyBank 의 혁신: "현장 학습형 매니저"

이 논문이 제안하는 PolicyBank는 AI 에게 **'스마트 메모장'**을 하나 더 줍니다. 이 메모장은 단순한 기록이 아니라, 규칙의 숨은 의미를 업데이트하는 곳입니다.

작동 방식:
1. 실수 발생: AI 가 쿠폰을 주지 않고 거절했다가, 개발자 (QA) 로부터 "아니야, 변경 요청 없이도 지연된 고객에게는 쿠폰을 줘야 해!"라는 피드백을 받습니다.
2. 메모장 업데이트: AI 는 이 피드백을 분석해 메모장에 **"비행기 지연 시 쿠폰 발급 = 변경/취소 여부와 무관함"**이라는 새로운 규칙을 적어넣습니다.
3. 적용: 다음 고객이 같은 상황을 만들면, AI 는 메뉴판의 원래 글자보다 업데이트된 메모장의 내용을 먼저 보고 쿠폰을 줍니다.

이 과정은 마치 신입 사원이 매니저의 코칭을 받아, 메뉴판의 오타를 스스로 파악하고 고객에게 맞는 서비스를 제공하는 모습과 같습니다.

🚀 이 기술이 왜 중요한가요?

규칙은 항상 완벽하지 않습니다: 자연어로 쓰인 규칙에는 항상 모호함이나 빠진 부분이 있습니다. 이를 모두 사람이 일일이 수정하는 것은 불가능에 가깝습니다.
AI 가 스스로 고쳐갑니다: PolicyBank 는 AI 가 실패와 피드백을 통해 "아, 이 규칙은 이렇게 해석해야 맞구나!"라고 스스로 깨닫게 합니다.
실제 성과: 실험 결과, 기존 AI 들은 이런 규칙 오류 상황에서 거의 0% 의 성공률을 보였지만, PolicyBank 를 적용한 AI 는 82% 까지 성공률을 높여 인간 전문가의 수준에 근접했습니다.

💡 요약

이 논문은 **"AI 가 규칙을 맹신하지 않고, 경험과 피드백을 통해 규칙의 진짜 의미를 스스로 배워나가는 시스템 **(PolicyBank)을 만들었습니다.

마치 오류가 있는 지도를 들고 길을 찾는 사람이, 길을 잃을 때마다 "아, 이 지도는 이 구간이 잘못됐구나"라고 메모장에 적어두고 다음에는 그 메모를 참고하며 길을 찾아가는 것과 같습니다. 덕분에 AI 는 더 유연하고 똑똑하게 조직의 규칙을 준수할 수 있게 됩니다.

PolicyBank: LLM 에이전트를 위한 진화하는 정책 이해 (Evolving Policy Understanding) 기술 요약

이 논문은 조직 내 자연어 (NL) 정책 하에서 작동하는 대규모 언어 모델 (LLM) 에이전트가 직면하는 정책 불일치 (Policy Gap) 문제를 해결하기 위해 제안된 PolicyBank 프레임워크를 소개합니다. 기존 에이전트들이 명시된 정책을 그대로 따르지만 실제 요구사항과 달라 실패하는 '순응적이지만 잘못된 (compliant but wrong)' 행동을 방지하고, 에이전트가 피드백을 통해 정책을 스스로 진화시켜 이해하도록 하는 것이 핵심 목표입니다.

1. 문제 정의 (Problem)

LLM 에이전트는 기업 규칙, 규제 제약, 비즈니스 로직 등 자연어로 된 정책 (Specified Policy, $\pi_{spec}$ ) 을 준수하며 외부 도구를 호출해야 합니다. 그러나 자연어 정책은 본질적으로 모호성, 미명시된 가정, 논리적 모순을 포함하고 있어, 문서화된 정책과 실제 요구사항 (Required Policy, $\pi_{req}$ ) 사이에 **정책 간극 (Policy Gap)**이 발생합니다.

저자는 에이전트 실패를 두 가지 유형으로 구분합니다:

Type I (실행 실패): 에이전트의 추론 능력 부족으로 인해 명시된 정책조차 따르지 못하는 경우.
Type II (정렬 실패, Alignment Failure): 에이전트가 명시된 정책을 정확하게 따르지만, 그 정책 자체가 실제 요구사항과 달라서 실패하는 경우.

기존의 메모리 메커니즘 (Synapse, AWM 등) 은 주로 Type I 실패를 해결하는 데 초점을 맞추며, 정책을 불변의 '진실 (Ground Truth)'로 간주합니다. 따라서 Type II 실패가 발생하면 에이전트는 잘못된 정책을 더 강화하게 되어, 실제 요구사항과의 괴리가 해결되지 않습니다.

2. 방법론: PolicyBank (Methodology)

PolicyBank 는 에이전트가 상호작용과 교정 피드백을 통해 정책을 자동으로 업데이트하고 해석을 정제할 수 있도록 하는 구조화된 메모리 메커니즘입니다.

핵심 아이디어: 정책을 고정된 규칙이 아닌, 에이전트의 경험과 개발자 피드백을 통해 점진적으로 정제되는 '통찰 (Insights)'의 집합으로 간주합니다.
메모리 스키마:
- 메모리는 도구 - 기능 (Tool-Capability) 레벨에서 세분화된 정책 통찰을 저장합니다.
- 각 메모리 항목은 TRIGGER(적용 조건), PRECONDITIONS(검증 단계), ELIGIBILITY(허가 조건), ACTION(수행 절차), 그리고 KEY INSIGHT(학습된 차이점) 를 포함하는 구조화된 형식을 가집니다.
- 이는 모호한 자연어 정책을 실행 가능한 권한 로직으로 변환합니다.
작동 프로세스:
1. 실행 (Execution): 에이전트는 대화 중 retrieve_policy() 도구를 호출하여 현재 맥락에 맞는 정책 통찰을 동적으로 검색합니다.
2. 검토 (Review): 작업 완료 후, 전용 Policy Agent가 작업 궤적 (Trajectory) 과 개발자의 피드백 (성공/실패 신호 및 자연어 설명) 을 분석합니다.
3. 업데이트: Policy Agent 는 실패 원인이 Type I 인지 Type II 인지 판단하여, 정책 간극을 해소하는 방향으로 메모리 항목을 추가 (Add), 수정 (Revise), 또는 **유지 (Omit)**합니다.
피드백 활용: 개발자가 "수정 의도가 없어도 보상해야 한다"는 식의 구체적인 설명 (Explanation) 을 제공하면, 에이전트는 정책의 논리적 결함을 파악하고 메모리를 갱신합니다.

3. 주요 기여 (Key Contributions)

문제 정의 및 형식화: 실행 실패와 정렬 실패를 구분하고, 자연어 정책의 구조적 결함 (모호한 범위, 미명시된 예외, 논리적 모순) 을 3 가지 클래스로 분류했습니다.
PolicyBank 제안: 도구 레벨의 세분화된 통찰을 유지하고 피드백 루프를 통해 반복적으로 정제하는 새로운 메모리 메커니즘을 제안했습니다.
평가 벤치마크 확장: 기존 $\tau$ -Bench 를 확장하여, 명시된 정책과 실제 요구사항이 다른 제어된 정책 간극 (Controlled Policy Gaps) 시나리오와 이를 테스트하는 **자매 작업 (Sister Tasks)**을 포함하는 체계적인 테스트베드를 구축했습니다.

4. 실험 결과 (Results)

$\tau$ -Bench(항공 및 소매 도메인) 를 기반으로 한 실험에서 PolicyBank 의 우수성이 입증되었습니다.

기존 방법의 한계: 기존 메모리 기반 방법들 (Synapse, AWM, ReasoningBank) 은 정책 간극이 있는 시나리오 (자매 작업) 에서 거의 0% 에 가까운 성공률을 보였습니다. 이들은 실패 신호를 학습하지 못하거나, 정책 자체의 오류를 수정하지 못했습니다.
PolicyBank 의 성과:
- PolicyBank 는 인간 오라클 (Human Oracle) 기준까지 최대 82% 의 간극을 해소했습니다.
- 항공 도메인 (Gemini-3-Pro): 자매 작업에서 No Memory 기준 (0.01) 대비 0.74의 pass@1 점수를 기록했습니다.
- 소매 도메인: 자매 작업에서 pass@1 점수가 0.83 에 달했으며, 일관성 (pass@4) 또한 기존 방법들보다 훨씬 높았습니다.
피드백의 중요성: 단순한 보상 신호 (Reward Only) 만으로는 성능 향상이 미미했으나, 구체적인 설명 (Explanation) 이 포함된 피드백을 제공했을 때 인간 오라클에 근접하는 성능을 달성했습니다.

5. 의의 및 결론 (Significance)

이 연구는 LLM 에이전트가 단순히 주어진 지시를 따르는 것을 넘어, 불완전한 명세를 경험과 피드백을 통해 스스로 수정하고 진화할 수 있음을 보여줍니다.

실용적 가치: 배포 전 QA 프로세스에서 에이전트가 잘못된 정책 해석을 자동으로 수정함으로써, 수동으로 규칙을 다시 작성하거나 코드를 수정할 필요성을 줄입니다.
이론적 기여: 자연어 기반 권한 정책의 불완전성을 해결하기 위해, 에이전트의 기억 (Memory) 을 정적 저장소가 아닌 동적인 학습 도구로 재정의했습니다.
향후 방향: 더 다양한 정책 토폴로지, 노이즈가 있는 피드백에 대한 강건성, 오픈소스 모델 적용, 그리고 형식적 검증 레이어와의 통합 등을 통해 확장 가능합니다.

결론적으로, PolicyBank 는 자연어 정책의 불완전성으로 인한 에이전트 실패를 해결하고, 에이전트가 실제 비즈니스 요구사항에 부합하도록 자율적으로 정책을 진화시키는 새로운 패러다임을 제시합니다.