🤖 AI

Trace2Policy: From Expert Behavior Traces to Self-Evolving Decision Agents

Trace2Policy는 전문가의 의사결정 규칙을 고정밀도의 결정론적 파이썬 코드로 체계적으로 복구하고 개선하는 오류 기반 반복적 기술 정교화(EISR) 프레임워크를 도입하며, 이는 규제 준수가 중요한 작업에서 정적 LLM 증류 및 순수 LLM 베이스라인보다 뛰어난 성능을 보이면서도 정교화 비용을 크게 절감합니다.

원저자: Junli Zha, Jinbo Wang, Chao Zhou, Xiang Song

게시일 2026-06-10

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Junli Zha, Jinbo Wang, Chao Zhou, Xiang Song

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

바쁜 물류 회사를 상상해 보십시오. 숙련된 심사역들은 매일 수천 건의 배송 클레임을 검토하며 시간을 보냅니다. 그들은 사진을 보고, 보고서를 읽으며 다음과 같은 결정을 내립니다. "이 손상은 운송업체의 잘못인가, 아니면 발송인의 잘못인가?" 이 전문가들은 수년간 학습한 복잡하고 명문화되지 않은 일련의 정신적 규칙을 바탕으로 이러한 결정을 내립니다. 예를 들어, "사진에 박스가 찢어져 있는데 시스템에는 '온전함'이라고 되어 있다면, 사진을 믿어야 한다"라거나, "검토자가 'C:'로 시작하는 노트를 작성했다면, 이는 비밀리에 책임을 재할당하고 있다는 뜻이다"와 같은 것들입니다.

문제는 이러한 규칙들이 전문가들의 머릿속에 갇혀 있다는 점입니다. 단순히 몇 가지 예시를 보여주는 방식으로 컴퓨터(AI)에게 이 일을 가르치려 하면, AI는 혼란에 빠집니다. 전문가들이 사용하는 미묘하고 숨겨진 기술들을 놓치기 때문입니다.

Trace2Policy는 이 문제를 해결하기 위해 설계된 새로운 시스템입니다. 이를 "규칙 추출 및 정제 기계"라고 생각하십시오. 이 시스템이 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다.

1. 탐정 단계 (행동 포착)

먼저, 시스템은 조용한 탐정처럼 행동합니다. 시스템은 전문가 심사역들이 컴퓨터에서 작업하는 모습을 지켜보며, 그들이 클릭하는 모든 것, 보는 모든 화면, 입력하는 모든 노트를 기록합니다. 단순히 무엇을 클릭했는지만 기록하는 것이 아니라, 그들이 왜 그렇게 했는지 이해하려고 노력합니다.

비유: 코치가 숙련된 요리사가 복잡한 요리를 하는 과정을 녹화한다고 상상해 보십시오. 코치는 단순히 "소금을 넣으시오"라고 적는 것이 아니라, "요리사가 국물 맛을 본 뒤, 국물이 너무 산성이라서 소금을 한 꼬집 더 넣었다"라고 기록합니다.

2. 초안 작성 단계 (첫 번째 시도)

시스템은 이러한 기록을 가져가서, 똑똑한 AI에게 자신이 파악한 요리사의 규칙을 작성하도록 요청합니다.

문제점: 첫 번째 초안은 대개 피상적입니다. 드러난 단계("박스를 확인하라")는 포착하지만, 깊고 숨겨진 논리("시스템은 실시간으로 업데이트되므로, 원래 코드가 아닌 현재 코드를 확인하라")는 놓칩니다.
결과: 이 첫 번째 초안("v1 Skills")은 괜찮은 수준이지만, 결정의 약 70% 정도만 제대로 맞춥니다. 이는 교과서는 암기했지만, 기말고사의 함정 문제에는 아직 적응하지 못한 학생과 같습니다.

3. "EISR" 엔진 (마법의 루프)

이것이 핵심 혁신입니다. 시스템은 EISR(오류 기반 반복 기술 정제, Error-driven Iterative Skill Refinement)이라고 불리는 프로세스를 사용합니다.

작동 방식: 시스템은 초안 규칙을 테스트 케이스 세트에 실행합니다. 오류가 발생하면, 시스템은 단순히 "틀렸다"라고 말하는 데 그치지 않고 엄격한 편집자처럼 행동합니다.
1. 진단: 오류를 그룹화합니다. "누락되었는가"(규칙이 이 경우을 다루지 못함)? "틀렸는가"(규칙은 존재했지만 잘못된 답을 냄)? 아니면 "충돌하는가"(두 규칙이 서로 싸움)?
2. 패치: 해당 오류 그룹에 대한 구체적인 수정안을 작성합니다.
3. 안전 점검 (회귀 게이트): 수정을 저장하기 전, 기존에 맞았던 케이스들을 다시 실행합니다. 만약 새로운 수정안이 이전에 작동하던 것을 망가뜨린다면, 그 수정안을 버립니다.
비유: 자동차 정비사가 엔진을 고치는 상황을 상상해 보십시오. 정비사가 달그락거리는 소리를 잡기 위해 볼트를 조일 때마다, 즉시 엔진을 테스트하여 실수로 스파크 플러그를 느슨하게 만들지는 않았는지 확인합니다. 그들은 차가 완벽하게 작동할 때까지 이 과정을 반복합니다.

4. "트랩 규칙(Trap Rules)"의 발견

이 루프를 통해 시스템은 단 한 번의 인터뷰로는 아무도 써낼 수 없었던 깊은 지식인 "트랩 규칙"을 찾아냈습니다.

예시: 화면의 특정 코드가 "공동 책임(Shared Liability)"처럼 보일 수 있지만, 실제로는 5분 전 "포장 손상(Packaging Damage)"에서 변경된 임시 라벨일 수 있다는 점이 하나의 트랩이었습니다. 전문가들은 라벨을 무시하고 검토자가 취한 행동을 봐야 한다는 것을 알고 있었습니다. AI는 실수를 반복하고 교정받은 후에야 비로소 이 사실을 배웠습니다.

5. 최종 결과물: 컴파일 vs 프롬프트

이 논문은 규칙이 어떻게 사용되는지에 대해 매우 구체적이고 놀라운 주장을 합니다.

프롬프트 방식: 규칙을 긴 지침 목록(프롬프트) 형태로 AI에게 전달할 수 있습니다. 이는 가능하지만, 마치 천재에게 50페이지짜리 매뉴얼을 읽으면서 수학 문제를 풀라고 하는 것과 같습니다. 정확도는 약 70% 정도입니다.
컴파일 방식: 시스템은 이 규칙들을 엄격한 컴퓨터 프로그램(Python 코드)으로 변환합니다. 이는 매뉴얼을 계산기로 바꾸어 단순히 계산을 수행하게 만드는 것과 같습니다.
결과: "컴파일" 버전은 **79.6%**의 정확도로 뛰어올랐습니다. 논문은 이러한 규칙 중심의 작업에서는 AI의 지능보다 규칙의 품질이 훨씬 더 중요하다고 주장합니다. 나쁜 규칙을 따르는 똑똑한 AI는 실패하지만, 완벽한 규칙을 따르는 단순한 컴퓨터는 성공합니다.

6. "플라이휠(Flywheel)" (자기 개선)

배포된 후에도 시스템은 멈추지 않습니다.

루프: 인간 심사역들은 여전히 (본업의 일부로서) 모든 케이스를 검토합니다. 시스템은 자신의 답변과 인간의 답변을 비교합니다. 만약 두 답변이 일치하지 않으면, 시스템은 이를 플래그로 표시하고, 오류를 분석하며, 자동으로 또 다른 "EISR" 라운드를 트리거하여 규칙을 수정합니다.
비용: 이를 수동으로 수행하려면 인간 전문가가 한 사이클당 70시간이 걸립니다. 자동화된 버전(Auto-EISR)은 5~10달러의 비용과 몇 시간의 시간만 소요됩니다.

요약된 주장

기능: 전문가의 행동을 자기 개선형 결정 규칙으로 전환합니다.
발견한 점:
- 원샷 러닝(AI에게 한 번 요청하는 것)은 깊고 숨겨진 규칙을 포착하는 데 실패합니다.
- 반복적인 오류 교정(EISR)은 정확도를 크게 높이는 "트랩 규칙"을 찾아냅니다.
- 이러한 특정 작업의 경우, 규칙을 프롬프트로 실행하는 것보다 엄격한 컴퓨터 프로그램으로 실행하는 것이 훨씬 더 낫습니다.
- AI "안전망"(AI가 확신이 없을 때 규칙을 수정하게 하는 것)을 추가하는 것은 이 특정 사례에서 오히려 정확도를 낮추었습니다. 왜냐하면 AI는 클레임을 거절하려는 경향이 너무 강했던 반면, 실제 규칙은 회사의 구체적인 니즈에 완벽하게 맞춰져 있었기 때문입니다.
범위: 이 연구는 물류 회사의 손상 클레임(3,349건)과 몇 가지 법률 추론 벤치마크에서 테스트되었습니다. 저자들은 이것이 모든 유형의 결정에 적용된다고 주장하는 것이 아니라, 전문가들이 체계적이고 암묵적인 규칙을 따르는 작업에 특화되어 있다고 밝히고 있습니다.

기술 요약: Trace2Policy

문제 정의

감사, 컴플라이언스, 계약 검토와 같은 도메인의 기업 의사결정 과업은 전문가의 판단에 의존하며, 이러한 판단은 종종 암묵적이고 체계적이며 특정 소프트웨어 시스템의 동작과 깊게 얽혀 있습니다. 기존의 자동화 접근 방식은 다음과 같은 세 가지 주요 격차에 직면해 있습니다:

지식 습득(Knowledge Acquisition): 기존의 GUI 에이전트(예: CogAgent, SeeAct)는 인터페이스를 조작하는 방법(클릭, 필드 채우기)은 학습하지만, 근저에 깔린 의사결정 로직이나 휴리스틱을 추출하는 데는 실패합니다. 프로세스 마이닝은 활동 흐름은 발견하지만, 특정 결정 뒤에 숨겨진 "이유(why)"는 찾아내지 못합니다.
지식 정교화(Knowledge Refinement): 일회성 추출 방식(LLM 증류, 퓨샷 러닝 또는 전문가 인터뷰)은 표면적인 절차만을 포착합니다. 이들은 시스템 인코딩 관례, 암묵적 액션 의미론, 그리고 주장과 행동 사이의 불일치와 같은 "심층 지식(deep knowledge)"을 밝혀내지 못하며, 이로 인해 성능 정체(주로 70% 수준)가 발생하고, 경우에 따라 강력한 모델이 정제되지 않은 규칙을 따르도록 강제될 때 성능이 저하되는 "권위 치환(authority displacement)" 현상이 나타납니다.
지식 진화(Knowledge Evolution): 대부분의 에이전트 시스템은 배포 후 정적인 상태로 유지됩니다. 자기 진화형 에이전트 조사 연구는 존재하지만, 변화하는 비즈니스 조건에 지속적이고 저비용으로 적응하기 위해 기존 인간 검토 워크플로우가 제공하는 자연스러운 그라운드 트루스(ground truth)를 활용하는 메커니즘은 거의 없습니다.

방법론: Trace2Policy 프레임워크

저자들은 원시 전문가 행동 트레이스를 자기 진화형 의사결정 에이전트로 변환하는 엔드 투 엔드 프레임워크인 Trace2Policy를 제안합니다. 이 파이프라인은 5단계로 구성됩니다:

단계 0–1: 행동 캡처 및 구조화

에이전트 옵저버(Agent Observer): 전문가의 멀티모달 행동(윈도우 포커스, 스크린샷을 포함한 마우스 클릭, 키보드 입력 등)을 수동적으로 캡처하고, 비즈니스 앵커(예: 운송장 번호)를 사용하여 이를 태스크 수준의 궤적으로 분할합니다.
VLM 구조화(VLM Structurization): 시각-언어 모델(VLM)이 원시 궤적을 구조화된 의사결정 기록으로 변환하여, 조회된 시스템, 주요 관찰 사항, 추론 체인 및 증거를 추출합니다.

단계 2: 자동화된 정책 증류(Automated Policy Distillation)

LLM은 구조화된 기록으로부터 초기 정책(이를 Skills라 함)을 증류합니다. 이 정책은 세 가지 계층으로 구성된 외부화된, 인간이 읽을 수 있는 규칙 문서(Markdown)입니다:

워크플로 계층(Workflow Layer): 시스템에 대한 쿼리 순서 및 파라미터.
의사결정 계층(Decision Layer): 경로 라우팅 및 판단 조건.
플랫폼 계층(Platform Layer): API 스키마, 필드 인코딩 및 로그인 절차.

단계 3: EISR (오류 기반 반복적 스킬 정교화)

핵히 핵심 혁신은 모델 가중치가 아닌 규칙 문서를 최적화 대상으로 취급하는 구조화된 진단 및 패치 루프인 EISR입니다.

실행 및 비교: 정책을 검증 세트에서 실행하고, 그라운드 트루스와 비교하여 오류를 식별합니다.
구조적 진단: 오류를 세 가지 유형인 MISSING(규칙이 해당 케이스를 커버하지 못함), WRONG(규칙이 잘못된 행동을 지시함), CONFLICT(상충하는 규칙 존재)로 분류합니다.
타겟 정교화: LLM이 각 클러스터에 대한 패치를 제안합니다.
회귀 게이트(Regression Gate): 패치는 이전에 올바르게 작동하던 케이스를 망가뜨리지 않도록 회귀 테스트를 통과해야만 수락됩니다.

Auto-EISR: "실행(Executor)" 에이전트가 오류를 생성하고 "진단/정교화(Diagnose/Refine)" 에이전트가 수정을 제안하는 LLM 기반 변형으로, 인간의 비용보다 훨씬 적은 비용으로 과정을 자동화합니다.

단계 4: 프로덕션 배포 및 자기 진화

정제된 정책이 배포됩니다. 인간 감사인은 계속해서 케이스를 검토하며 자연스러운 그라운드 트루스를 한계 비용 없이 제공합니다. 유사한 오류가 누적되면(≥5 케이스), 점진적인 EISR 라운드가 트리거되어 규칙을 업데이트함으로써 지속적인 개선 플라이휠을 생성합니다.

주요 기여

Trace2Pipeline: 원시 트레이스로부터 배포된 에이전트에 이르는 검증된 파이프라인을 제시하며, 주요 물류 기업에서의 22일간의 프로덕션 배포(3,349건의 감사 케이스)를 통해 입증되었습니다.
EISR 알고 알고리즘: 회귀 게이트가 적용된 규칙 정교화 방법으로, 일회성 방식에서는 보이지 않는 다음과 같은 "트랩 규칙(trap rules)"—즉, 시스템 특유의 관례와 같은 심층 지식—을 성공적으로 찾아냅니다:
- 인코딩 상태 모호성(Encoding State Ambiguity): 시스템 디스플레이 상의 현재 코드와 원본 부채 코드 구분.
- 암묵적 액션 접두사(Implicit Action Prefixes): 텍스트 코멘트 내의 문서화되지 않은 신호(예: "C:" 접두사) 인식.
- 클레임 불일치(Claim Mismatches): 특정 행동을 수행하는 것과 특정 클레임을 수용하는 것을 구분.
실행 형태 관찰(Execution Form Observations): 본 논문은 규칙의 품질이 모델의 능력보다 더 지배적인 성능 레버라는 점을 확인했습니다.
- 컴파일 이득(Compilation Gain): 동일한 EISR 정제 규칙을 결정론적인 Python으로 컴파일했을 때, 규칙을 LLM 프롬프트로 사용했을 때보다 프로덕션에서 9.8 퍼센트 포인트 더 높은 성능을 보였습니다 (79.6% vs 69.8%).
- LLM 폴백 실패(LLM Fallback Failure): 편향된 베이스 레이트(skewed-base-rate) 과업에서, 흔한 설계 패턴인 LLM 폴백을 다시 활성화하면 LLM의 사전 확률(prior)이 규칙 캐스케이드의 교정된 분포와 일치하지 않기 때문에 정확도가 단조 감소합니다.
권위 치환(Authority Displacement): 정제되지 않은 규칙은 강력한 LLM이 잘못된 휴리스틱을 따르도록 강제함으로써 성능을 능동적으로 저하시킬 수 있는 반면(7~9pp 감소), EISR 정제 규칙은 이 격차를 해소합니다.
비용 효율성: Auto-EISR는 인간 참여형 정교화 방식에 비해 약 100배 저렴한 비용( $5–$ 10 per cycle)으로 인간 전문가와 대등한 정교화 성능을 달달성했습니다.

결과

프로덕션 성능: 컴파일된 EISR 정제 파이프라인은 훈련 벤치마크에서 79.6%의 정확도를, 홀드아웃 세트에서 **77.3%**를 달성하여, 과거의 순수 LLM 베이스라인(72.7%)과 제로샷 베이스라인(43.8%)을 능가했습니다.
교차 모델 일관성: 5개의 서로 다른 LLM에 대해, 규칙 버전(v1 vs v8)에 따른 성능 편차가 모델 선택에 따른 편차보다 컸습니다.
교차 도메인 전이: 정교화 루프(단계 3)는 재설계 없이 공개 벤치마크(LegalBench hearsay, BPIC 2012)에서 테스트되었습니다. LegalBench hearsay 태스크에서 EISR 정교화는 정확도를 약 84%에서 **92.2%**로 끌어올렸으며, 1라운드의 초기 "오버슈트(overshoot)" 현상을 극복했습니다.
비용 편익: Auto-EISR는 인간 참여형 정교화 대비 정교화 비용을 약 100배 절감하면서도 대등한 액션 정확도를 유지했습니다.

의의 및 주장

본 논문은 Trace2Policy를 기업 컴플라이언스의 구체적인 운영 요구사항을 해결하는 사용 유도형(Use-Inspired) 기여로 포지셔닝합니다. 그 의의는 다음과 같습니다:

최적화 대상의 전환: 모델 파라미터나 프롬프트를 최적화하는 것에서 외부화되고 감사 가능하며 버전 관리가 가능한 규칙 문서를 최적화하는 것으로 이동합니다.
심층 지식 추출: 반복적인 오류 분석이 일회성 방식이 놓치는 시스템 특유의 관례를 드러내는 데 필수적임을 입증합니다.
폼-번들 관찰(Form-Bundle Observation): 컴플라이언스 민감도가 높고 베이스 레이트가 편향된 환경에서는, 정제된 규칙 + 결정론적 컴파일의 조합이 LLM 프롬프팅이나 하이브리드 LLM 폴백보다 우수한 결과를 낸다는 점을 강조합니다. 저자들은 이것이 특정 환경에 국한된 관찰이며 모든 의사결정 과업에 적용되는 보편적 주장은 아님을 명시합니다.
확장 가능한 자기 진화: 기존 인간 워크플로우의 자연스러운 피드백 루프를 활용하여 에이전트가 지속적으로 진화하게 함으로써, 비용이 많이 드는 명시적 보상 레이블링의 필요성을 제거합니다.

저자들은 단일 도메인 중심의 연구, 적은 홀드아웃 샘플 크기, 그리고 "감사인 앵커링(auditor anchoring, 인간 검토자가 에이전트의 초기 권고에 영향을 받는 현상)"의 가능성 등 한계를 인정하며 겸허한 태도를 유지합니다. 또한 향-전용(form-only) 컴파일 이득을 분리하고 더 넓은 다중 도메인 검증을 수행하는 것을 향후 과제로 제시합니다.