기술 요약: GUIDE – 문서-아티팩트 생성을 위한 통제된 통합 지능 (Governed Unified Intelligence for Document-to-Artifact Generation)

1. 문제 정의

기업용 어노테이션 파이프라인은 현재 이질적인 멀티모달 가이드라인 문서(서사적 텍스트, 복잡한 표, 임베디드 이미지를 포함)를 구조화되고 실행 가능한 작업 아티팩트로 변환하는 데 의존하고 있습니다. 현재 이 프로세스는 품질 관리자(QM)와 프로젝트 매니저(PM)에 의해 수동으로 수행되며, 문서당 2~3일이 소요됩니다. 이러한 수동 방식은 오류가 발생하기 쉽고, 확장하기 어려우며, 가이드라인이 업데이트될 때마다 전체를 재작업해야 한다는 문제가 있습니다.

핵심 과제는 기업 문서의 특성으로 인해 심화된 데이터 관리 문제입니다:

• 이질성(Heterogeneity): 텍스트는 종종 의미론적 단위가 아닌 위치 기반 토큰으로 인코딩되며, 표는 여러 페이지에 걸쳐 있거나 병합된 셀을 포함하거나 이미지 형태로 존재합니다. 또한 시각적 요소(예: 바운딩 박스 다이어그램)는 텍스트에 포착되지 않는 중요한 의미론적 정보를 담고 있습니다.
• 거버넌스 부재(Lack of Governance): 기존의 거대 언어 모델(LLM) 및 시각-언어 모델(VLM) 시스템은 환각(hallucination) 현상, 표 구조의 저하, 그리고 단순 추출을 넘어 검증 및 아티팩트 생성까지 확장되는 통제된 워크플로우의 부재로 인해 어려움을 겪습니다.
• 추적 가능성(Traceability): 추출된 규칙은 버전이 관리되어야 하고, 중복이 제거되어야 하며, 스키마에 따라 검증되어야 하고, 소스에서 최종 아치팩트까지 추적 가능해야 합니다. 현재의 단일 단계 추출 방식은 이를 제공하지 못합니다.

2. 방법론: GUIDE 프레임워크

저자들은 GUIDE(Governed Unified Intelligence for Document-to-Artifact Generation)를 소개합니다. 이는 가이드라인-아티팩트 변환을 데이터 관리 문제로 취급하도록 설계된 통제된 멀티 에이전트 프레임워크입니다.

핵심 아키텍처

시스템은 안정적인 rule_id를 키로 하여 스키마가 적용된 테이블을 포함하는 **중앙 집중식 버전 관리 규칙 저장소(central versioned rule store)**를 중심으로 구축되었습니다. 이 저장소는 공유 데이터 레이어 역할을 하며 다음을 보장합니다:

• 기원(Provenance): 모든 아티팩트는 소스 규칙과 기원 문서를 추적합니다.
• 버전 관리(Versioning): 문서 개정 시 발생하는 규칙 업데이트는 재처리되는 대신 조정(reconciled)됩니다.
• 감사 가능성(Auditability): 모든 Human-in-the-Loop(HITL) 결정은 안정적인 식별자에 따라 기록됩니다.

에이전트들은 **Pydantic으로 검증된 계약(Pydantic-validated contracts)**을 통해 이 저장소와 상호작용하며, 이를 통해 하위 에이전트가 구조적으로 유효하지 않은 데이터를 소비하는 것을 방지합니다.

6개의 특화된 에이전트

1. 파싱 에이전트(Parsing Agent): 결정론적 텍스트 추출(PyMuPDF, 내부 XML, LibreOffice 사용)과 VLM 프로세싱을 분리합니다. 시각적 콘텐츠는 MD5 기반 이미지 중복 제거 후 Qwen2.5-VL을 사용하여 처리됩니다. 추출 품질은 결함률 메트릭($Q$)을 통해 평가됩니다.
2. 규칙 추출 에이전트(Rule Extraction Agent): 2단계 파이프라인을 실행합니다:
   • 오픈 도메인 추출: 소스 스팬(source spans)과 신뢰도 점수를 가진 후보 규칙을 식별합니다.
   • 정규화(Normalization): 규칙을 고정된 26개 필드 스키마에 매핑합니다.
   • 라우팅(Routing): 규칙 유형에 따라 라우팅합니다 (예: 평가 기준은 QM 워크벤치로, 작업자 요구사항은 PM 워크벤치로).
3. 일관성 모듈(Consistency Module): 임베딩 기반 유사도 필터링과 자연어 추론(NLI) 분류를 적용하여 규칙을 중복 제거하고, 버전을 정렬하며, 격차(gap)나 모순을 식별합니다. 누락된 측면은 GapObject로 구조화됩니다.
4. 평가 엔진(Evaluation Engine): 2단계 검증 파이프라인을 수행합니다:
   • L1 (구조적): 제약 조건(예: 필수 필드, 유효한 열거형)을 확인하는 결정론적 Pydantic 검증을 수행합니다.
   • L2 (의미론적): LLM-as-judge가 품질 차원(예: 명확성, 페르소나 적합성, 완결성)에 대해 1~5점 척도로 객체를 점수화합니다.
   • 라우팅 로직: 높은 점수($\ge 4$)는 자동 승인; 중간 점수(2–3)는 HITL로 라우팅; 낮은 점수(1)는 거부합니다. 추론된 소스가 있는 객체는 항상 HITL로 라우팅됩니다.
5. HITL 컨트롤러(HITL Controller): 의존성을 고려한 단계별 검토 워크플로우를 관리합니다:
   • 1단계: RuleUnit 검토.
   • 2단계: 승인된 규칙을 조건으로 하는 GapObject 검토.
   • 3단계: 확정된 규칙 및 격차를 조건으로 하는 ExampleObject 검토.
     무수정(zero-edit) 승인은 검토자 부하를 점진적으로 줄이기 위한 캘리브레이션 데이터로 기록됩니다.
6. 아티팩트 생성 에이전트(Artifact Generation Agent): 승인된 규칙, 해결된 격차, 예시를 Pydantic 제약 템플릿을 사용하여 8가지 배포 준비 완료 아티팩트(예: 어노테이터 가이드라인, QA 전략, SOW)로 변환합니다. 아티팩트는 규칙 커버리지, 구조적 부합성, 페르소나 적절성, 교차 섹션 모순도를 기준으로 점수화됩니다.

3. 주요 기여

• 통제된 데이터 백본(Governed Data Backbone): 안정적인 키잉(keying)과 엔드 투 엔드 기원 추적을 갖춘 버전 관리 및 스키마 검증 기반의 공유 스테이징 저장소.
• 멀티 에이전트 프레임워크: 결정론적 파싱, VLM 기반 추출, 구조화된 규칙 모델링, 그리고 6개의 특화된 에이전트에 걸친 의존성 기반 아티팩트 생성을 통합.
• 2단계 평가: 구조적 검증(L1)과 LLM 기반 의미론적 점수화(L2)를 결합하고 자동 수락 및 선택적 HITL 에스컬레이션을 수행하는 프레임워크.
• 의존성 기반 HITL: 객체 유형, 심각도 및 하위 의빙성에 따라 플래그가 지정된 규칙, 격차 및 아티팩트만을 검토자에게 전달하는 워크플로우.
• 경험적 검증: 120개의 실제 기업 가이드라인 문서에 대한 평가를 통해 추출 충실도, 일관성 제어 및 일관성 생성 성능을 입증.

4. 실험 결과

시스템은 다양한 복잡도 티어를 가진 120개의 기업 문서(텍text, 음성, 멀티모달, 이미지, 비디오) 코퍼스를 대상으로 평가되었습니다.

• 문서 성공률: **96%**의 문서 성공률(120개 중 115개 성공적 처리)을 달랐습니다.
• 규칙 추출: 3,896개의 RuleUnit을 추출하였으며, 증거율은 84.8%, 환각(hallucination)은 단 **3.2%**였습니다.
  • L1 통과율: 99.1%.
  • L2 자동 승인: 규칙의 **71.4%**가 자동 승인되었고, 28.6%는 인간의 검토가 필요했으며, 거부된 경우는 0%였습니다.
• 아티팩트 생성: 812개의 배포 준비 완료 아티팩트를 생성했습니다.
  • 자동 승인: 아티팩트의 **29.8%**가 자동 승인되었습니다.
  • 인간 검토: **52.0%**가 검토로 라우팅되었습니다.
  • 거부: **18.2%**가 재생성을 트리거했습니다.
• 효율성: 턴어라운드 타임을 수동 베이스라인(23일)에서 문서당 **40125분**으로 단축했습니다.
• 거버넌스 영향: 단일 단계(monolithic one-pass) 베이스라인(동일 모델, 거버넌스 없음)과 비교했을 때, GUIDE는 다음 항목을 크게 감소시켰습니다:
  • 환각(Hallucination): 15.7% $\to$ 3.2%
  • 중복(Duplication): 10.3% $\to$ 3.0%
  • 모순(Contradictions): 7.8% $\to$ 2.9%
  • L1 통과율: 93.2% $\to$ 99.1%

5. 의의 및 주장

본 논문은 GUIDE가 신뢰성, 추적 가능성, 선택적 인간 감독이 최우선 설계 목표인 **데이터 인지적, 인간 정렬형 에이전트 시스템(data-aware, human-aligned agentic systems)**의 원칙적인 토대를 제공한다고 주장합니다.

• 확장성: 구조화되지 않은 가이드라인을 구조화된 아티팩트로 자동 변환함으로써, GUIDE는 기업의 인력 배치 및 런칭 타임의 핵심 병목 현상을 해결합니다.
• 품질 제어: 본 프레임워크는 스키마 계약과 다단계 검증을 강제함으로써 통제된 멀티 에이전트 파이프라인이 단일 단계 추출 모델보다 훨씬 뛰어난 성능을 발휘할 수 있음을 보여줍니다.
• Human-in-the-Loop 최적화: 의존성 기반 HITL 워크플로우를 통해 인간의 노력이 플래그가 지정된 이슈(격차, 모호성, 신뢰도가 낮은 아티팩트)에만 집중되도록 하며, 무수정 승인을 통해 향후 검토자 부하를 줄이기 위한 캘리브레이션 신호로 활용합니다.
• 한계점: 저자들은 VLM의 안정성이 저품질 스캔이나 복잡한 표에서 저하된다는 점을 인정합니다. 페르소나 적응 및 규칙 커버리지는 여전히 도전적인 과제입니다. 현재 평가는 영어 기업 가이드라인에 국한되어 있으나, 밑바탕이 되는 아키텍처(스테이징 스토어, 스키마 계약, L1/L2 평가)는 도메인에 구애받지 않도록 설계되었습니다.