🤖 AI

Scoped Verification for Reliable Long-Horizon Agentic Context Evolution under Distribution Shift

이 논문은 지속적인 시스템 지침을 타입이 지정된 시맨틱 그래프로 구조화하여 업데이트의 국소적 검증을 가능하게 함으로써, 평면 텍스트 베이스라인 대비 분포 변화 상황에서 LLM 에이전트의 장기적 신뢰성을 크게 향상시키는 방법론인 GRACE(Graph-Regularized Agentic Context Evolution)를 소개한다.

원저자: Dan C. Hsu, Luke Lu

게시일 2026-07-13

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Dan C. Hsu, Luke Lu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 전화 회사의 고객 전화를 처리하는 초지능 로봇 비서를 훈련시키고 있다고 상상해 보세요. 당신은 매일 로봇의 뇌를 재프로그래밍할 수 없으며, 로봇이 사용하는 도구를 바꿀 수도 없습니다. 당신이 조절할 수 있는 유일한 것은 로봇이 어떻게 행동하고, 무엇을 말하며, 무엇을 피해야 하는지를 알려주는 긴 지침서인 '규칙집(rulebook)'뿐입니다.

이 논문인 GRACE는 아주 단순하면서도 까다로운 질문을 던집니다: 어떻게 하면 규칙집이 엉망진창인 모순 덩어리로 변하지 않도록, 오랜 시간에 걸쳐 지속적으로 업데이트할 수 있을까?

문제점: "평면 텍스트(Flat Text)"의 함정

대부분의 사람들은 긴 텍스트 문서 끝에 새로운 내용을 계속 덧붙이거나 전체를 다시 쓰는 방식으로 규칙집을 업데이트하려고 합니다. 저자들은 이를 "평면 텍스트 유지보수(flat-text maintenance)"라고 부릅니다.

이것은 마치 단체 채팅방에서 모두가 그저 채팅창 맨 아래에 새로운 규칙을 계속 타이핑하는 것과 같습니다. 처음에는 잘 작동합니다. 하지만 몇 주가 지나면 채팅창은 500페이지에 달하게 됩니다. 10페이지에는 "항상 예의를 갖춰라"라는 규칙이 있는데, 499페이지에는 "화가 났을 때는 무뚝뚝하게 행동하라"라는 새로운 규칙이 생깁니다. 채팅창은 이 두 규칙이 서로 모순된다는 사실을 알지 못합니다. 로봇은 혼란에 빠져 실수를 하기 시작하고, 결국 시스템 전체가 무너집니다. 논문은 단순히 텍스트를 계속 추가하기만 하면 로봇의 신뢰도가 결국 다시 떨어진다는 것을 보여줍니다.

해결책: "스마트 맵" (GRACE)

저자들은 GRACE(Graph-Regularized Agentic Context Evolution)라고 불리는 새로운 방식을 제안합니다. 규칙집을 긴 텍스트 목록 대신, 구조화된 지도(그래프)로 만드는 것입니다.

규칙이 단순한 텍스트 줄이 아니라, 지도 위의 노드(점)이며, 이 점들이 서로 어떻게 연관되어 있는지를 보여주는 선으로 연결되어 있다고 상상해 보세요.

하나의 점은 "규칙"(예: "예의를 갖춰라")입니다.
또 다른 점은 "사실"(예: "고객들은 지쳐 있다")입니다.
선은 "이 사실이 이 규칙을 뒷받침한다"라고 말하며 두 점을 연결합니다.

로봇이 실수를 하면, 시스템은 단순히 새로운 문단을 쓰는 것이 아닙니다. 시스템은 지도를 살펴봅니다. 문제가 된 특정 점(규칙)을 찾아내고, 그 주변의 이웃들을 확인합니다.

이 새로운 아이디어가 바로 옆에 있는 규칙들과 충돌하는가? (모순 체크)
이 새로운 아이디어가 기존의 것과 중복되는 내용은 아닌가? (중복 체크)

새로운 아이디어가 지도의 국소적인 영역(neighborhood)에 잘 들어맞으면 추가됩니다. 만약 지도의 논리를 깨뜨린다면, 즉시 거부되거나 수정됩니다. 마지막으로, 시스템은 업데이트된 지도를 로봇이 실제로 읽을 수 있는 텍스트로 다시 변환합니다.

실험: 줄다리기

연구진은 특정 로봇 모델(Gemini 2.5 Flash)을 사용하여 시뮬레이션된 통신 환경(가상의 전화 회사)에서 이 실험을 진행했습니다. 결과가 단지 운이 좋아서가 아님을 확인하기 위해 시뮬레이션을 다섯 번 반복했습니다. 또한 규칙집이 무너지지 않고 적응할 수 있는지 확인하기 위해 몇 라운드마다 로봇이 직면하는 고객 통화의 유형을 변경했습니다.

결과는 다음과 같았습니다:

시작 지점: 업데이트 전, 로봇은 신뢰성이 매우 낮았습니다. 가장 엄격한 테스트(세 번 연속 업무를 완벽히 수행하는 것)를 통과한 비율은 0.091(약 9%)에 불과했습니다.
"평면 텍스트" 팀 (HCE): 이들은 단순히 텍스트를 추가하는 기존 방식을 사용했습니다. 로봇은 처음에 0.215까지 올라가며 조금 나아지는 듯했으나, 이후 다시 떨어지기 시작했습니다. 마지막에는 0.191로 내려앉았습니다. 규칙집이 너무 지저분해졌고, 로봇은 일관성을 유지하는 법을 잊어버렸습니다.
"체크 기능이 없는 지도" 팀: 이들은 지도를 사용했지만, 모순이나 중복에 대한 검사를 하지 않았습니다. 이들은 0.458까지 꽤 괜찮은 상승을 보였으나, 이후 급격히 추락하여 0.248로 끝났습니다. 지도가 정리를 도와주긴 했지만, "이웃 체크"가 없었기에 규칙들은 여전히 엉망으로 쌓여갔습니다.
GRACE 팀: 이 팀은 지도와 함께 엄격한 이웃 체크 기능을 사용했습니다. 이들은 0.091에서 시작하여 꾸준히 상승했습니다. 마지막 체크포인트에서, 이들은 엄격한 테스트를 0.673(약 67%)의 확률로 통과했습니다.

대규모 비교: 아무런 업데이트 없이 처음부터 시작한 훨씬 더 똑똑한 새 로봇 모델(Gemini 3.1 Pro)은 겨우 0.242를 기록했습니다. GRACE 팀은 더 오래된 로봇 모델을 사용하고도 더 똑똑한 업데이트 시스템을 통해 새 로봇을 큰 차이로 앞질렀습니다.

이것이 의미하는 바 (그리고 의미하지 않는 것)

이 논문은 로봇이 장기간 동안 망가지지 않고 계속 학습하기 위해서는 단순히 텍스트를 쌓아두는 것이 아니라, 새로운 아이디어가 기존의 것들과 국소적으로 어떻게 연결되는지 확인할 수 있는 구조(지도와 같은)가 필요하다는 점을 시사합니다.

하지만 저자들은 이것이 모든 것에 적용되는 마법의 해결책은 아니라고 주의를 줍니다.

이 연구는 오직 통신 고객 서비스 시뮬레이션에서만 테스트되었습니다. 이 방식이 코딩, 의료 상담, 혹은 자율 주행에 효과적인지는 아직 알 수 없습니다.
오직 하나의 특정 로봇 모델과 특정 도구 세트만을 대상으로 테스트되었습니다.
결과는 실제 인간과의 실제 전화 통화가 아닌, 시뮬레이션(컴퓨터 테스트)을 기반으로 합니다.

그러나 교훈은 명확합니다: 만약 로봇이 몇 달 또는 몇 년 동안 성격과 규칙을 진화시키길 원한다면, 지침을 일기장처럼 쌓아두는 것이 아니라 잘 정리된 지도처럼 다루어야 합니다. 새로운 집을 짓기 전에 주변 이웃을 확인하지 않는다면, 결국 도시 전체가 무너지고 말 것입니다.

기술 요약: 신뢰할 수 있는 장기적 에이전트 컨텍스트 진화를 위한 범위 지정된 검증 (GRACE)

1. 문제 정의

본 논문은 고정된 운영 하네스(harness) 환경에서 발생하는 **장기적 에이전트 컨텍스트 진화(long-horizon agentic context evolution)**의 과제를 다룹니다. 배포된 대규모 언어 모델(LLM) 에이전트 시스템에서 "에이전트 컨텍스트"는 작업 입력, 도구 관찰 결과, 그리고 에이전트의 역할, 제약 조건 및 도메인 가정을 정의하는 **지속적인 시스템 수준 지침(persistent system-level instruction)**으로부터 구성됩니다.

시간이 흐름에 따라 작업 분포가 변화할 때, 이 지속적인 지침은 효과를 유지하기 위해 운영 경험을 바탕으로 수정되어야 합니다. 그러나 이 지침을 평면 텍스트(flat text) 형태로 유지하는 것은 아티팩트(artifact)가 커짐에 따라 다음과 같은 심각한 실패 모드를 초래합니다:

컨텍스트 붕괴(Context Collapse): 불일치가 누적되어 이전의 개선 사항들을 무력화합니다.
검증의 어려움: 문서가 성장함에 따라 규칙, 제약 조건 및 절차 간의 관계를 검증하는 것이 긴 컨텍스트 처리 능력에 크게 의존하게 되어, 모순이나 중복을 탐지하기 어려워집니다.
무제한적 성장: 구조적 관리 없이는 지침 내용이 통제 불가능하게 성장하여 가이드라인 충돌과 신뢰도 저하를 유발합니다.

핵심 문제는 진화를 위해 사용되는 **표상 기질(representation substrate)**을 격리하는 것입니다. 본 논문은 모델, 도구 및 하네스가 고정된 상태에서, 구조적 표상이 평면 텍스트 유지 방식에 비해 장기적 진화 지평 동안 검증 효율성과 통합(consolidation)을 지속할 수 있는지 묻습니다.

2. 방법론: GRACE

저자들은 지속적인 지침을 평면 텍스트가 아닌 **타입화된 시맨틱 그래프(typed semantic graph)**로 유지하는 프레임워크인 **그래프 정규화 에이전트 컨텍스트 진화(GRACE)**를 제안합니다. 배포된 아티팩트는 텍스트 형태를 유지하지만, 진화 과정은 그래프 기질 위에서 작동합니다.

2.1 그래프 정규화 기질

GRACE는 지침을 방향성이 있는 타입 그래프 $G_t = (V_t, E_t)$ 로 표현합니다:

노드 ( $V$ ): 원자적 지침 단위를 인코딩하며, 세 가지 객체 유형으로 분류됩니다:
- identity: 에이전트의 지위 (위임 사항 및 대상).
- norm: 행동 규칙 (준수하거나 위반해야 하는 표준).
- knowledge: 도메인 전제 (추론의 기초).
엣지 ( $E$ ): 구조적 관계를 인코딩하며, 다음으로 분류됩니다:
- supports: 근거 또는 정당화.
- refines: 특수화 (조건 또는 예외 추가).
- sequence: 절차적 순서.
스키마 제약 조건: 네트워크 스키마 $\mathcal{T}_G$ 는 허용 가능한 소스-타겟 타입 쌍을 정의하여 모든 업데이트가 스키마를 준수하도록 보장합니다.

2.2 진화 파이프라인

진화 연산자 $F_{Evolve}$ 는 이전 상태 $(G_{t-1}, \ell_{t-1}, o_t)$ 를 세 단계를 거쳐 다음 상태 $(G_t, \ell_t)$ 로 변환합니다:

운영 계획 (Operation Planning):
- LLM 기반 플래너가 진단적 관찰(실패한 에이전트 상호작용에서 도출됨)을 일련의 타입 그래프 편집 세트 $\Delta^{edit}_t$ (예: AddNode, ModifyNode, AddEdge)로 변환합니다.
- 이러한 편집 사항들을 결정론적으로 적용하여 중간 그래프 $\hat{G}_t$ 를 생성합니다.
- 관계 유지 모듈은 편집된 노드에 인접한 관계들을 검토하고 추가적인 관계 수준의 편집 $\Delta^{rel}_t$ 를 제안합니다.
구조적 검증 (범위 지정된 검증, Scoped Verification):
- 전체 텍스트를 다시 읽는 대신, 검증은 **로컬 타입 이웃(local typed neighborhoods)**에 집중합니다.
- 검증 반경 $k$ 는 "접촉된" 노드들(계획 단계에서 수정된 노드들) 주변의 이웃 $N_k$ 를 정의합니다.
- **구조적 분석(SA)**은 이 로컬 서브그래프를 조사하여 두 가지 시맨틱 문제를 검사합니다:
  - 모순(Contradiction): 겹치는 지침 단위들이 동시에 충족될 수 없는 공동 불만족 상태를 탐지합니다.
  - 중복(Redundancy): 하나의 단위가 구조적 차별화 없이(예: 별도의 지원 이웃 없이) 다른 단위를 포섭하여 한계적 시맨틱 기여도가 결여된 상태를 탐지합니다.
- 탐지된 문제는 스키마 준수 연산을 통해 복구됩니다.
델타 재구성 (Delta Reconstruction):
- 검증된 그래프 $G_t$ 는 텍스트 형태의 지침 체크포인트 $\ell_t$ 로 다시 변환됩니다.
- 이는 그래프 수준의 변경 사항과 정렬된 **증분 편집(incremental edits)**을 통해 수행되며, 영향을 받지 않은 내용과 형식을 보존합니다.

3. 실험 설정

도메인: $\tau^2$ -bench에서 유래한 텔레콤 고객 서비스.
프로토콜: 10개의 진화 배치에 걸친 통제된 분포 변화 프로토콜. 경험 배치는 두 가지 의도 혼합 단계(Phase A 및 Phase B)를 교대로 수행하여 유지(retention)와 적응을 테스트합니다.
조건:
1. GRACE: 전체 방법 (그래프 기질 + 구조적 분석).
2. GRACE w/o SA: 구조적 분석이 없는 그래프 기질 (절제 실험).
3. HCE (Holistic Context Evolution): 내장된 일관성 가드가 있는 평면 텍스트 베이스라인.
지표:
- pass@k: 능력치 (best-of-k).
- pass^k: 엄격한 신뢰도 (모든 k번의 시도가 성공해야 함).
- 역방향 전이 (Backward Transfer, BWT): 특정 의도에 대한 분포가 변화한 후의 성능 유지력.
모델: 에이전트 모델은 Gemini 2.5 Flash로 고정됩니다. 진단 및 평가는 고정된 절차를 사용합니다.

4. 주요 결과

5회의 독립적인 반복 실험을 통해, GRACE는 베이스라인 대비 우수한 신뢰도와 유지력을 보여주었습니다:

지속적인 개선: GRACE는 엄격한 신뢰도(pass^3)를 최종 체크포인트( $\ell_{10}$ )에서 제로샷 베이스라인인 0.091에서 0.673 ± 0.136으로 향상시켰습니다.
베이스라인과의 비교:
- HCE (평면 텍스트): 초기에는 개선되었으나 시간이 지남에 따라 저하되어, $\ell_{10}$ 에서 0.191 ± 0.051로 종료되었습니다. 이는 지침이 성장함에 따라 "컨텍스트 붕괴"를 겪었음을 의미합니다.
- GRACE w/o SA: 초기에 개선되었으나( $\ell_6$ 에서 0.458), 이득을 공고화하지 못하고 $\ell_{10}$ 에서 0.248 ± 0.144로 하락했습니다.
참조 성능: GRACE의 최종 체크포인트(0.673)는 동일한 홀드아웃 세트에 대한 Gemini 3.1 Pro의 제로샷 참조값인 0.242를 초과했습니다.
실패 모드 분석:
- HCE는 높은 모순 횟수(평균 3.35)와 큰 지침 크기(82,592자)를 축적하여 일관성 상실을 초래했습니다.
- GRACE w/o SA는 낮은 모순 횟수를 유지했으나, 공고화에 실패하여 더 높은 중복성(평균 4.85)과 통제되지 않는 성장을 보였습니다.
- GRACE는 낮은 모순(1.75–1.90)과 더 낮은 중복성(4.15)을 유지하며 지침 기질을 효과적으로 공고화했습니다.
유지력: GRACE는 대부분의 사이클에서 양수 또는 0의 역방향 전이를 보인 반면, HCE는 지속적인 음의 역방향 전이를 보여 분포가 변화할 때 능력 손실이 발생함을 나타냈습니다.

5. 기여 및 의의

본 논문은 세 가지 주요 기여를 합니다:

그래프 정규화 기질: 지속적인 에이전트 지침의 진화를 위한 중간 표현으로서 타입화된 시맨틱 그래프를 도입하여, 전체 텍스트를 다시 읽는 대신 로컬 이웃에 집중하는 범위 지정된 구조적 검증을 가능하게 합니다.
평가 프로토콜: 내부 단계 개선과 교차 단계 유지를 모두 테스트하는 통제된 분포 변화 프로토콜을 제 제안하여, 표현 및 검증 메커니즘의 효과를 분리하여 검증합니다.
메커니즘 통찰: 절제 실험을 통해 신뢰할 수 있는 장기적 진화를 위한 두 가지 구별된 요구 사항을 식별합니다:
- 구조적 기질: 검증을 로컬하게 만들고 거대한 모순을 방지하는 데 필요합니다.
- 공고화 메커니즘: 겹치는 콘텐츠를 병합하고 미묘한 갈등을 해결하여 무제한적 성장과 중복을 방지하기 위해 (구조적 분석을 통해) 필요합니다.

의의:
본 논문은 신뢰할 수 있는 장기적 컨텍스트 진화를 위해서는 진화하는 아티팩트의 표현 방식이 매우 중요하다고 주장합니다. 평면 텍스트 유지 방식은 아티팩트가 성장함에 따라 검증이 점점 더 어려워집니다. GRACE는 지침을 타입 그래프로 유지하고 로컬 구조적 검증을 수행함으로써, 평면 텍스트 접근 방식이나 공고화가 없는 그래프 접근 방식보다 에이전트가 신뢰도를 유지하고 분포 변화에 더 효과적으로 적응할 수 있음을 입증합니다. 이 연구는 "축적된 지침 단위들 사이의 관계"가 내구성을 보장하기 위해 검사 가능할 만큼 명시적이고 국소적이어야 함을 시사합니다.

한계점:
저자들은 현재의 증거가 $\tau^2$ -bench의 텔레콤 도메인과 고정된 에이전트 모델 및 하네스로 제한되어 있음을 언급합니다. 향arian 연구에서는 추가적인 도메인과 일치된 구현 예산 하의 전체 선행 컨텍스트 진화 시스템을 대상으로 GRACE를 평가하는 작업이 필요합니다.