기술 요약: LEDGER – 의존성 인지 그래프 검색을 통한 에이전트 기반 문서 편집의 확장

문제 정의

에이전트 기반 문서 편집은 사용자가 고수준의 자연어 지시(예: "섹션 4의 어조를 수정하라" 또는 "용어를 업데이트하라")를 내리면, AI 에이전트가 구체적인 수정 사항을 계획하고 실행하는 패러다임의 전환을 의미한다. 그러나 코드와 달리 자연어 문서는 형식적 의미론, 실행 가능한 구조, 또는 컴파일러 수준의 보장을 갖추고 있지 않다. 이는 근본적인 컨텍스트 엔지니어링 과제를 야기한다: 즉, 길고 구조화된 문서 전반에 걸쳐 일관성을 유지하는 문제이다.

핵심적인 어려움은 "느슨한 의존성(loose dependencies)"에 있다. 용어를 변경하거나 그림 캡션을 수정하는 것과 같은 단순한 편집 작업이라도, 여러 표면 형태(surface forms)를 업데이트하고, 인접한 단락의 스타일 선택을 정렬하며, 명시적인 인용이 없는 다운스트림 참조를 수정해야 하는 작업을 요구할 수 있다. 현재의 접근 방식들은 다음과 같은 긴장 관계에 직면해 있다:

1. 전체 문서 처리: 전체 문서를 컨텍스트로 제공하면 일관성은 보장되지만, 막대한 토큰 비용과 지연 시간이 발생하며, 모델이 관련 영역으로부터 주의를 돌리게 만드는 "중간에서 길을 잃는(lost in the middle)" 현상을 초래한다.
2. 검색 기반 편집: 컨텍스트의 일부만을 선택하면 효율성은 높아지지만, 일반적으로 주제적 유사성(임베딩)에 의존하기 때문에 명시적 교차 참조, 암시적 대명사 의존성, 또는 다운stream의 의미적 영향과 같은 중요한 구조적 의존성을 포착하는 데 실패한다.

방법론: LEDGER 프레임워크

LED_GER(효율적인 검색을 위한 경량 명시적 의존성 그래프)은 문서 구조를 명시적으로 모델링하는 의존성 인지 의미 그래프를 구축함으로써 이 병목 현상을 해결한다. 이 프레임워크는 세 가지 통합된 구성 요소를 통해 작동한다.

1. 의미 그래프 구축

시스템은 문서 $D$를 노드가 문서 단위(섹션, 단락, 그림, 방정식)를 나타내고 엣지가 네 가지 특정 의존성 유형을 인코딩하는 그래프 $G=(V, E)$로 변환한다.

• 포함 ($E_{CON}$): DOM 트리 구조에서 직접 유도된 계층적 관계.
• 참조 ($E_{REF}$): 명시적 인용(예: "그림 2"). 추출 과정은 최소성, 무모호성 및 기존 식별자에 대한 검증을 보장한다.
• 의존 ($E_{DEP}$): 한 단위가 다른 단위에서 도입된 정의, 가정 또는 개념(예: "이 결과")에 의존하는 암시적 의존성. 이는 필요성과 방향성을 검증하기 위한 역사실적 테스트 프로토콜(counterfactual testing protocols)을 통해 결정된다.
• 관련 ($E_{REL}$): 임베딩의 코사인 유사도(임계값 $\theta=0.7$)를 통해 식별된 주제적으로 관련된 콘텐츠 간의 의미적 관계.

2. 의존성 인지 컨텍스트 검색

주어진 편집 요청에 대해, LEDGER는 그래프 순회를 수행하여 문서 길이에 관계없이 $O(1)$ 크기를 갖는 컨텍스트 $C_{context}$를 검색한다.

• 대상 식별: 편집할 특정 노드를 찾는다.
• 의존성 확장: 상위 의존성(타겟이 의로 하는 것)과 하위 영향(타겟에 의존하는 것)을 포함하도록 그래프를 순회한다.
• 우선순위 점수 산정: 노드는 엣지의 중요도에 따라 우선순위가 지정된다: 참조(REFERENCES) > 의존(DEPENDS) > 포함(CONTAINS) > 관련(RELATED).
• 예산 제한 패킹: 모든 중요한 의존성이 포함되도록 하면서 불필요한 내용은 제외하면서, 토큰 예산이 충족될 때까지 노드를 탐욕적(greedy)으로 선택한다.

3. 일관성 검증

수정이 적용된 후, 시스템은 구조적 불변성을 검증한다.

• 참조 무결성: 모든 출력 참조가 존재하는 타겟을 가리키는지 확인한다.
• 용어 일관성: 수정된 노드의 핵심 용어가 의존 노드와 일치하는지 확인한다.
• 의미적 일관성: 임베딩을 재계산하여 관련 콘텐츠에서의 유의미한 의미적 드리프트(semantic drift)를 감지한다.
  그 후 그래프는 새로운 문서 상태를 반영하도록 점진적으로 업데이트된다.

주요 기여

1. 의존성 인지 프레임워크: 명시적 타입의 의존성 추출과 그래프 가이드 검색을 통해 컨텍스트 엔지니어링 병목 현상을 해결함으로써, 명시적 의미 그래프를 문서 편집에 적용하는 참신한 접근 방식을 제시한다.
2. 큐레이션된 벤치마크: 다양한 문서 유형과 복잡도 수준에 걸쳐 6가지 편집 시나리오(로컬 정제, 교차 참조 업데이트, 구조적 재구성, 콘텐츠 추가, 반복 편집, 확장성 테스트)를 아우르는 1,900개의 테스트 케이스 데이터셋을 구축하였다.
3. 추론 대체 증거: 명시적인 구조적 가이드가 값비싼 내부 추론을 대체할 수 있음을 입증하는 경험적 증거를 제시하여, 효율적인 에이전트 시스템을 위한 설계 원칙을 확립하였다.

실험 결과

프레임워크는 6개의 최첨단 모델(Claude 4.5 Haiku/Sonnet/Opus, GPT-4.1/5/5.2)을 사용하여 1,900개의 테스트 케이스에 대해 평가되었다.

• 일관성 개선: LEDGER는 모든 모델과 시나리오에서 일관성을 베이스라인의 **56%**에서 **76%**로 향상시켰다. 전체 통과율은 41%에서 78%로 증가했다.
• 토큰 효율성: LEDGER는 전체 문서 재생성 대비 토큰 사용량을 약 85% 감소시켰으며, 문서 크기(5K ~ 100K 토큰)에 관계없이 평균 ~1,500개의 토큰을 일정하게 유지했다.
• 추론 대체: 주목할 점은, LEDGER가 **낮은 추론 노력(low reasoning effort)**으로도 높은 추론 노력(57% 일관성)을 사용하는 베이스라인과 대등하거나 이를 능가하는 성능(80% 일관성)을 달성했다는 것이다. 이는 더 적은 토큰을 사용하면서도 달성한 결과이다. 이는 명시적인 의존성 표현이 비용이 많이 드는 내부 숙고 과정을 부분적으로 대체할 수 있음을 시사한다.
• 확장성: 베이스라인 토큰 사용량은 문서 길이에 따라 선형적으로 증가하는 반면, LEDGER는 일정한 토큰 사용량을 유지하여 문서 크기에 대한 $O(1)$ 검색 복잡도를 입증했다.
• 절제 연구(Ablation Studies): 의존성 추적을 제거했을 때 일관성이 14 퍼센트 포인트 감소하였으며, 이는 명시적인 구조적 엣지가 성능 향상의 주요 동력임을 확인시켜 준다.

의의 및 주장

본 논문은 LEDGER가 구조화된 데이터에서 작동하는 에이전트 시스템을 위한 새로운 설계 원칙을 확립한다고 주장한다: 명시적 의존성 표현은 값비싼 내부 추론을 대체할 수 있다.

일관성의 부담을 모델의 내부 추론 능력에서 외부의 구조화된 그래프 메모리로 전환함으로써, LEDGER는 다음을 달성한다:

• 확장성: 선형적인 토큰 비용 증가 없이 매우 긴 문서를 효율적으로 편집할 수 있게 한다.
• 강건성: 더 작은 모델이나 낮은 추론 설정에서도 높은 일관성을 유지한다.
• 일반성: 엣지 구조(참조, 의존, 포함)는 다른 구조화된 산출물에도 자연스럽게 매핑되므로, 코드 리팩토링 및 소프트웨어 유지보수로의 확장 가능성을 시사한다.

저자들은 LEDGER를 인간 편집자를 대체하는 도구가 아니라, 에이전트 기반 문서 편집의 병목 현상인 기계적 일관성 체크를 처리함으로써 인간의 감독을 보조하는 도구로 포지셔닝한다.