기술 요약: ODYSSEY – 검증 가능하고 국소적 진실을 보존하는 파운데이션 모델 구축

문제 정의

현재의 거대 언어 모델(LLM) 및 파운데이션 모델은 범용 인터페이스로서 기능하지만, 사용자가 도메인 특화 모델을 설계, 검사, 적응 및 신뢰해야 하는 과학적, 산업적 또는 운영적 환경에서는 종종 실패합니다. 기존의 접근 방식은 일반적으로 모델을 불투식한 임베딩, 평면적인 요약 또는 단일 체크포인트로 취급합니다. 이러한 구조적 결여는 로컬 증거를 보존하거나, 불확실성을 드러내거나, 출처(provenance)를 추적하거나, 한 맥락에서 다른 맥락으로 주장을 전이해서는 안 되는 시점을 결정하는 것을 어렵게 만듭니다. 본 논문은 모델 구축을 단일한 모놀리식(monolithic) 구조에서, 재사용 가능하고 타입이 지정된 빌딩 블록으로서 로컬 진실을 보존하고 글로벌 주장의 일관성을 관리할 수 있는 "파운드리(foundries)"로 취급하는 모듈형의 검증 가능한 아키텍처로 전환해야 한다고 주장합니다.

방법론: ODYSSEY 프레임워크

ODYSSEY는 파운데이션 모델을 국소적 예측 및 논리 모델의 층(sheaf)과 같은 패밀리로 구축하기 위한 범주론적(categorical) 프레임워크입니다. 핵심 설계 원칙은 **표현 = 커버링(covering) + 글루잉(gluing)**이며, 여기서 문서와 도메인은 단일 벡터로 축소되는 것이 아니라 로컬 로직을 가진 중첩된 영역으로 취급됩니다.

1. 5개 에이전트 스택

시스템은 명시적인 아티팩트 경계를 가진 5개의 에이전트로 구성된 결정론적 스택으로 구현됩니다:

• SCYLLA: 인간의 요청을 "모델 브리프"(도메인, 목표, 엔티티 및 불확실성 정의)로 번역하고, 책임 있는 답변 계약을 설명합니다.
• HOMER: 브리프를 실행 가능한 워크플로우 스켈레톤(소스 수집, 감사 일정, 갱신 의무 포함)으로 컴파일합니다.
• ATHENA: 표현 의미론(representational semantics)을 소유합니다. 이는 커버(로컬 맥락)를 정의하고, 로컬 표현 타입을 할당하며, 중첩을 선언하고, 글루잉 규칙 및 방해 정책(obstruction policies)을 지정합니다. 또한 유한 진리값 분할($\perp$ (미지원), WEAK, PLAUSIBLE, SUPPORTED, $\top$ (확인됨))을 사용합니다.
• PROMETHEUS: Athena의 계획을 **토포스 세계 모델(Topos World Model)**로 인스턴스화하는 엔진 룸입니다. 로컬 섹션, 제한 사상(restriction maps), 글루잉 결과 및 증거 소스를 구체화합니다. "소스 층(source sheaves)"(예: 기업 공시, 수리 매뉴얼, 과학적 주장)을 구축하고, 글루잉 실패 시 방해 기록(obstruction records)을 생성합니다.
• TOULMIN: 유지 관리되는 파운드리 상태를 정당화된 주장으로 변환하는 논증 에이전트입니다. 툴민(Toulmin)의 요소들(주장, 근거, 정당화, 뒷받ity, 한정어, 반박)을 사용하여 논증을 구조화함으로써, 시스템이 단순히 "무엇"이 아니라 "왜" 그리고 "어디서" 그 논증이 성립하는지를 답할 수 있도록 합니다.

2. 파운드리 대수 및 보편적 파운드리 학습 (UFL)

ODYSSEY는 모델 구축을 제네릭 파운드리(예: 증거/논증, 운영 결정, 제도/금융)의 대수로 조직하며, 이를 조합, 제한 및 특수화하여 **구체적 파운드리(concrete foundries)**를 생성합니다.

• 보편적 파운드리 학습 (Universal Foundry Learning, UFL): 외부 모델(사전 학습된 GPT 스타일 모델 포함)의 수용을 **칸 확장(Kan Extensions)**을 사용하여 정식화합니다.
  • 좌 칸 확장 (Left Kan Extension, $Lan$): 로컬 소스 아티팩트를 후보 파운드리로 롤업합니다 (확장/집계).
  • 우 칸 확장 (Right Kan Extension, $Ran$): 일관성, 제한 및 글루잉 조건을 강제합니다 (필터링/풀백).
• TICKET (Causal Kan Extension Transformers를 이용한 토포스 통합): 외부 아티팩트를 슬라이싱하고, 선언된 함자(functor)를 통해 대상 파운드리로 전송하며, 일관성 검사를 수행하는 특정 수용 연산자입니다. 후보는 "글루잉 감사"와 툴민 검증을 통과해야만 승격되며, 그렇지 않으면 격리되거나 차단됩니다.

3. 파운드리 SQL (FSQL)

유지 관리되는 파운드리 아티팩트를 슬라이싱하고 쿼리하기 위한 타입 지정 쿼리 표면입니다. FSQL는 SQL의 개념(행, 조인, 뷰)을 파운드리 섹션, 제한 사상 및 글루잉 검사로 일반화하여, 사용자가 특정 주장의 출처와 일관성을 조사할 수 있게 합니다.

주요 기여

1. 파운드리 아키텍처: ODYSSEY를 불투식한 임베딩이 아닌 층(sheaf)과 같은 패밀리로서 검사 가능한 파운데이션 모델을 구축하는 시스템으로 소개합니다.
2. 에이전트 계약: SCYLLA, HOMER, ATHENA, PROMETUS, TOULMIN 간에 교환되는 구현 계약 및 내구적 아티팩트를 명시합니다.
3. 파운드리 대수: 제네릭 파운드리를 조합하고 특수화하여 도메인 경계의 인스턴스를 생성하기 위한 정식 대수를 정의합니다.
4. 수용 메커니즘: FSQL을 통한 쿼리와 Causal Kan Extension Transformers를 사용하여 외부 모델을 내구적 상태로 수용하는 TICKET을 도입합니다.
5. 정식 핵심: 맥락, 커버, 유한 진리값 및 방해 기록을 포함하는 로컬 예측 상태 및 층 이론적 핵심을 정식화합니다.
6. 경험적 구현: 다음과 같은 구현된 파운드리 제품군을 문서화합니다:
   • Dick's Sporting Goods (DKS): 리뷰 증거, 매장 운영 및 기업 공시를 결합한 리테일 파운드리.
   • Indus Script: 조기 합의를 강요하지 않고 경쟁 가설과 논쟁을 보존하는 과학적 도전 파운드리.
   • MyFixIt: 텍스트를 행동-관찰 예측 상태로 변환하는 수리 매뉴얼용 절차적 파운드리.
   • TCC 44K: 44,000개의 경제학 논문에 대한 인과적 주장 아틀라스.
   • IKEA ASM: 멀티모달 조립 파운드리.
   • Amazon Reviews 2023: 코퍼스 벤치마크 파운드리.

결과 및 평가

본 논문은 단일 스칼라 점수보다 아티팩트 기반 평가를 강조하며 여러 도메인에 걸친 예비 경험적 결과를 제시합니다:

• MyFixit 검색: 절차적 검색 작업에서, PSR(Predictive State Representation) 행동-관찰 표현은 토큰 기반 베이스라인을 유의미하게 능가했습니다.
  • nDCG@10: Current (+0.2478), Broader (+0.2460), Strict (+0.2726) 기준으로 개선되었습니다.
  • Recall@10: 베이스라인 0.1000에서 Strict 프로파일 기준 0.6130으로 개선되었습니다.
  • 실패 슬라이스: 시스템은 실패 사례(예: 텍스트 별칭, 이미지 그라운딩 갭)를 평균화하여 없애는 대신 내구적 아티팩트로 명시적으로 보존했습니다.
• Toulmin 인증: 7개 도메인(Indus, TRACE, TCC, 10-K 등)에 대한 결정론적 테스트 결과, 시스템이 완전한 툴민 티켓(주장, 근거, 정당화, 한정어, 반박)을 성공적으로 구축하고 방해 요인을 정확히 식별하여, 침묵 속의 승격 대신 "검토를 위한 격리"를 이끌어냄을 보여주었습니다.
• 규모 독립성: 로컬 LLM(Llama 3.2-3B, Qwen3-80B, Qwen3-235B) 실험을 통해, 방해 탐지(예: 공룡 멸종 주장)가 특정 모델의 규모가 아닌 층(sheaf)에 기반한 패킷에 결합되어 있음을 보여주었으며, 이는 수용 로직의 견고함을 나타냅ers.
• 양방향 전송: 시스템은 129개의 Prometheus 패밀리 아티팩트를 성공적으로 가져왔으며(6개 수용, 6개 격리, 117개 후보로 유지), ODYSSEY 파운드리를 시각적 검사를 위해 Prometheus로 다시 내보내는 데 성공했습니다.

의의 및 주장

본 논문은 ODYSSEY를 거대한 사전 학습된 모델의 대체재가 아니라, 그들을 위한 **검증 가능한 기질(verifiable substrate)**로 포지셔닝합니다. 그 의의는 다음과 같습니다:

• 인식론적 규율: 인간의 요청, 워크플로우, 표현 의미론, 세계 모델, 그리고 논증 레이어를 분리하여 "동의와 비동의가 모두 내구적 아티팩트"가 되도록 보장합니다.
• 국소적 진실 보존: 층 이론을 사용하여 시스템은 주장이 정당화되는 곳, 글루잉이 실패하는 곳, 전이가 차단되는 곳을 명시적으로 추적함으로써, 로컬 모순을 가리는 글로벌 평균의 "리더보드 붕괴"를 방지합니다.
• 인과적 및 논증적 엄밀성: 인과적 추론(PROMETHEUS 및 BRIDGE/SKFM을 통해)과 논증(TOULLIN을 통해)을 모델 구축 라이프사이클에 직접 통합하여, 사후 디버깅을 넘어 내장된 정당화를 실현합니다.
• 겸손한 경험적 범위: 저자들은 현재 구현이 템플릿 기반 구성 요소와 결정론적 진리 할당을 가진 "설계 단계 시스템"임을 인정합니다. 결과는 최종 벤치마크가 아니라 파운드리 계약과 아티팩트 스키마에 대한 예비 검증으로 제시됩니다. 목표는 동일한 범주론적 메커니즘이 이질적인 소스 전반에 걸쳐 도메인 구축, 아티팩트 재생 및 근거 있는 조사를 지원할 수 있음을 입증하는 것입니다.

결론적으로 ODYSALLY는 거대 파운데이션 모델을 "검증 가능하고 국소적 진실을 보존하는 파운드리"로 전환하는 경로를 제공하며, 여기에서 규모는 표현력 있는 재료를 공급하지만, 범주론적 메커니즘이 그 재료가 어디에서 정당한지, 그리고 어디에서 인간의 검토가 필수적인지를 결정합니다.