ObjectGraph: From Document Injection to Knowledge Traversal -- A Native File Format for the Agentic Era

Mohit Dubey 의 논문 "ObjectGraph: From Document Injection to Knowledge Traversal"에 대한 상세한 기술 요약입니다.

1. 문제 정의: 문서 소비 문제

이 논문은 현재의 자율적 LLM 에이전트와 기존 문서 형식 (주로 Markdown) 간의 근본적인 아키텍처 불일치를 지적합니다.

• 핵심 문제: 기존 형식은 전체 문서를 작업 기억 (working memory) 에 유지하는 선형적 인간 독서를 위해 설계되었습니다. 반면, LLM 에이전트는 **검색 (retrieval)**을 통해 작동합니다. 에이전트가 정보가 필요할 때, 현재는 전체 문서를 컨텍스트 창에 주입해야 합니다.
• 세 가지 실패 모드:
  1. 토큰 과다 소비: 에이전트가 관련 없는 콘텐츠에 토큰의 약 94% 를 낭비합니다 (예: 80 토큰 분량의 관련 단계를 찾기 위해 1,800 토큰 분량의 런북을 읽음).
  2. 컨텍스트 누적: 다중 턴 루프에서 관련 없는 주입된 텍스트를 포함한 전체 대화 기록이 모든 API 호출 시 재전송되어 토큰 비용이 초선형적으로 증가합니다.
  3. 역할 무감각성: 기존 형식은 외부 미들웨어 없이는 동일한 문서에 대해 다른 에이전트 역할 (예: 오케스트레이터 대 워커) 에게 다른 뷰를 제공할 수 없습니다.
• 선행 연구의 한계: 컨텍스트 압축, RAG, 시맨틱 파일 시스템은 증상을 완화하지만 근본 원인을 해결하지 못합니다: 문서 형식 자체가 쿼리 주소 지정 가능한 인덱스, 타입 지정된 의존성, 그리고 네이티브 액세스 제어를 결여하고 있기 때문입니다.

2. 방법론: ObjectGraph (.og) 형식

저자들은 문서를 선형 문자열이 아닌 타입 지정된 방향성 지식 그래프로 재개념화하는 OBJECTGRAPH (.og) 파일 형식을 제안합니다.

A. 핵심 추상화

.og 파일은 $G = (V, E, \lambda, \rho)$인 그래프입니다. 여기서:

• 노드 ($V$): 지식의 원자적 의미 단위 (예: 특정 단계, 경고, 또는 개념).
• 엣지 ($E$): 타입 지정된 의존성 관계 (예: :requires, :precedes, :see-also).
• 범위 ($\rho$): 역할 기반 액세스 제어 (예: orchestrator, worker, all).
• 매니페스트: 콘텐츠를 로드하지 않고 관련 노드를 $O(1)$로 발견할 수 있게 하는 경량 헤더 (::meta, ::schema, ::index).

B. 주요 메커니즘

1. 점진적 공개 모델 (PDM):
   • 1 단계 (인덱스): 관련성을 판단하기 위해 ::index 블록 (~30 토큰) 만 읽습니다.
   • 2 단계 (밀집): 라우팅/계획을 위한 키워드 요약이 포함된 ::dense 블록 (~노드당 12 토큰) 을 읽습니다.
   • 3 단계 (전체): 실행이 필요할 때만 ::full, ::code, 또는 ::steps 블록 (~노드당 180 토큰) 을 읽습니다.
2. LLM 네이티브 쿼리 프로토콜:
   • search_index(관련 노드 ID 찾기) 와 resolve_context(콘텐츠 검색 및 의존성 자동 탐색) 라는 두 가지 원시 인터페이스를 사용합니다.
   • 라우터로서의 LLM: LLM 이 자체적으로 인덱스 문자열에서 시맨틱 매칭을 수행하여 외부 벡터 데이터베이스나 키워드 매칭 알고리즘의 필요성을 제거합니다.
3. 실행 가능 어설션 노드: 유효성 검사 로직, 재시도 경로, 에스컬레이션 규칙이 문서 (::assertion) 에 직접 인코딩되어 "무엇을 할지"와 "어떻게 검증할지"를 분리합니다.
4. 델타 로딩: ::changelog 노드를 통해 에이전트가 이전 버전 이후 업데이트된 노드만 가져올 수 있게 하여 업데이트 비용을 $O(n)$에서 $O(\mu)$로 줄입니다.

C. 호환성

• 엄격한 Markdown 슈퍼셋: 모든 유효한 .md 파일은 유효한 .og 파일입니다.
• 트랜스파일러: 콘텐츠를 보존하기 위해 결정론적 파서를 사용하고, 탐색 메타데이터 (키워드/밀집 블록) 생성을 위해만 한정된 LLM 호출을 사용하는 하이브리드 파이프라인이 Markdown 을 .og 로 변환합니다. 이를 통해 높은 충실도를 보장합니다.

3. 주요 기여

1. 형식적 모델: "문서 소비 문제"를 정의하고 이를 해결하기 위해 필요한 여섯 가지 구조적 속성 (쿼리 주소 지정 가능 인덱스, 계층적 압축, 타입 지정된 의존성 그래프, 역할 범위 지정 액세스, 실행 가능 어설션, 인간 가독성) 을 정의했습니다.
2. 형식 명세: 위의 여섯 가지 속성을 동시에 만족하는 .og 형식을 도입했습니다.
3. 쿼리 프로토콜: 에이전트가 전체 주입 없이 문서를 탐색할 수 있게 하는 최소한의 두 원시 프로토콜을 설계했습니다.
4. 트랜스파일러: 기존 Markdown 을 .og 로 변환하여 증명 가능한 콘텐츠 충실도를 갖는 도구를 제작했습니다.
5. 실증적 검증: 5 가지 문서 클래스와 8 가지 작업 유형에 대한 포괄적인 평가를 수행했습니다.

4. 결과

이 논문은 Claude Sonnet 4.5 와 GPT-4o 와 같은 모델을 사용하여 240 개의 문서와 8 가지 작업 유형으로 구성된 벤치마크에서 실증적 증거를 제시합니다.

• 토큰 감소:
  • 평균 감소: 쿼리당 토큰 소비량이 92.0% 감소했습니다 (~2,340 토큰에서 ~187 토큰으로).
  • 다중 턴 절감: 5 턬 워크플로우에서 ObjectGraph 는 Markdown 대비 누적 토큰 비용을 36.5 배 줄였습니다 (46,000 토큰 대비 1,260 토큰), 이는 컨텍스트 누적을 효과적으로 제거한 것입니다.
• 작업 정확도:
  • ObjectGraph 는 8 가지 작업 유형 중 7 가지에서 Markdown 의 정확도와 일치하거나 초과했습니다.
  • 중요한 개선:
    • 역할 조건부 액세스: +18.4%
    • 업데이트 감지: +30.1%
    • 어설션 검증: +43.5%
  • 참고: "크로스-노드 추론"에서 약간의 하락이 있었으나 명시적 엣지 선언으로 완화되었습니다.
• 트랜스파일러 충실도: 홀드아웃 문서에서 **98.7%**의 콘텐츠 보존율을 달성했습니다.
• 인간 작성: 사용자 연구는 낮은 작성 부담 (리커트 척도 기준 2.8/7) 을 보여주었으며, 사용자는 명시적 태그가 문서화 규율을 개선했다고 지적했습니다.

5. 의미와 영향

• 패러다임 전환: "문서 주입"에서 "지식 그래프 탐색"으로 산업을 이동시켜, 에이전트 지능의 주요 인프라로서 문서 형식을 취급합니다.
• 인프라 축소: 액세스 제어, 유효성 검사 로직, 변경 추적을 파일 형식 내부에 인코딩함으로써 외부 미들웨어 (벡터 DB, 액세스 제어 레이어, 유효성 검사 스크립트) 의 필요성을 제거하여 에이전트 아키텍처를 단순화합니다.
• 확장성: "적은 것이 더 많다 (Less-Is-More)" 효과는 관련 없는 컨텍스트를 줄이는 것이 비용을 절감할 뿐만 아니라 주의 분산을 줄여 모델 성능을 향상시킨다는 것을 보여줍니다.
• 미래 전망: 이 논문은 "에이전틱 웹 (Agentic Web)"을 위한 분산형 쿼리 가능 지식 그래프를 만들기 위한 다음 중요한 단계로 "페더레이션 (교차 파일 엣지 해결)"을 식별합니다.

요약하자면, ObjectGraph는 문서 자체를 구조화되고 탐색 가능하며 역할 인식적인 지식 그래프로 재정의함으로써 현재 에이전트 - 문서 상호작용의 토큰 비효율성과 구조적 한계를 해결하며, 정확도를 희생하지 않고 막대한 효율성 개선을 달성합니다.