기술 요약: ModSleuth – 현대적 LLM의 보이지 않는 의존성 감사

문제 정의

현대적인 대규모 언어 모델(LLM) 개발은 모델이 데이터 생성, 필터링, 재작성, 평가 및 선호도 학습을 위해 다른 모델에 점점 더 의존하게 되는 매우 재귀적인 생태계로 진화했습니다. 순수 인간 데이터에 주로 의존했던 과거의 파이프라인과 달리, 현재의 워크플로우는 상류 아티팩트(예: 보상 모델, 판사 모델, 합성 데이터 생성기)가 하류 모델의 가중치와 개발 결정에 영향을 미치는 복잡하고 다단계적인 의존 구조를 포함합니다.

핵심 문제는 이러한 의존성 구조의 투명성이 결여되어 있다는 점입니다. 의존성은 다음과 같은 특성을 가집니다:

• 파편화됨 (Fragmented): 정보가 기술 보고서, 모델 카드, 코드 저장소, 데이터셋 카드 등에 흩어져 있습니다.
• 재귀적임 (Recursive): 한 모델이 자신의 의존성이 별도의 관련 없는 릴리스에만 기록된 상류 아티팩트에 의존할 수 있습니다.
• 모호함 (Ambiguous): 직접적인 의의존성(가중치에 영향을 미침)과 간접적인 의존성(개발 결정에 영향을 미침)을 구분하기 어렵거나, 일관되지 않은 명명 규칙을 가진 아티팩트 간의 정체성을 일치시키기 어렵습니다.

이러한 불투명성은 라이선스 제한의 소리 없는 전파, 다단계 경로를 통한 데이터 오염의 연쇄 발생, 그리고 평가 대상과 판사 모델의 조상이 공유되는 순환적 평가 편향과 같은 구체적인 위험으로 이어집니다. 기존의 감사 방법(예: 생태계 매핑, 가중치 기반 계보 추론)은 좁은 의미의 계보에 집중하거나 필터링 및 평가와 같은 비가중치 형성 영향력을 포착하지 못한다는 점에서 불충분합니다.

방법론: ModSleuth

저자들은 공개된 아티팩트로부터 출처에 근거한 증거를 바탕으로 LLM 의존성 그래프를 재귀적으로 재구성하도록 설계된 에이전트 시스템인 ModSleuth를 소개합니다. 이 시스템은 단순한 정보 추출(이미 현대적 에이전트들이 수행할 수 있는 수준)을 넘어, 의존성 추적의 의미론적 및 표현적 과제를 해결하는 데 중점을 둡니다.

핵심 설계 원칙

1. 의존성의 형식화 (Formalization of Dependency):

   • 직접 의존성 (Direct Dependencies): 대상 모델의 훈련 또는 가중치에 실질적인 영향을 미치는 상류 아티팩트 (예: 초기화 모델, 합성 데이터 생성기, OCR 시스템, 필터링 모델).
   • 간접 의존성 (Indirect Dependencies): 훈련에는 참여하지 않지만 개발 결정에 상당한 영향을 미치는 상류 아티팩트 (예: 평가 모델, 절제 연구, 방법론적 레시피).
   • 제외 대상 (Exclusions): 훈련에 영향을 주지도 않고 개발에 실질적인 영향을 주지도 않는 아티팩트 (예: 베이스라인 비교, 막연한 영감)는 제외됩니다.

2. 연산을 통한 표현 (Representation via Operations):
   관계는 고정된 의존성 레이블 대신, 단일 파이프라인 이벤트(예: 생성, 필터링, 재작성)를 설명하는 구조화된 엣지 그룹인 **연산(Operations)**으로 표현됩니다. 각 엣지는 자유 형식의 자연어 설명, 거친 수준의 의존성 유형, 그리고 뒷받침하는 출처 발췌문을 포함합니다.

3. 래티스를 통한 정체성 해소 (Identity Resolution via Lattice):
   일관되지 않은 참조(예: "Olmo 3 32B" 대 특정 체크포인트 ID)를 처리하기 위해, ModSleuth는 **정체성 래티스(Identity Lattice)**를 사용합니다. 아티팩트는 미지정 참조를 위한 루트 노드, 부분적 해소를 위한 중간 노드, 그리고 구체적인 URL에 고정된 정형 리프 노드로 구성된 패밀리로 조직됩니다. 이는 성급한 해소를 강요하지 않으면서 불확실성을 보존합니다.

ModSleuth 파이프라인

시스템은 Claude Code를 기본 에이전트 엔진으로 사용하여 세 단계로 작동합니다:

1. 소스 수집 (Source Gathering): 대상 LLM에 대한 공식 공개 아티팩트(기술 보고서, 모델/데이터셋 카드, 코드 저장소, 릴리스 블로그)를 수집하고 이를 주제별 배치로 구성합니다.
2. 엔티티 발견 및 해소 (Entity Discovery and Resolution): 의존 모델 및 데이터셋에 대한 언급을 추출하여 정체성 래티스에 매핑합니다. Hugging Face 아티팩트의 경우, 결정론적 메타데이터 검색을 사용하여 정형 URL을 검증하고 유도 관계를 추적합니다.
3. 의존성 구축 및 조정 (Dependency Construction and Reconciliation): 해소된 래티스를 기준으로 소스 배치를 다시 읽어 증거에 기반한 엣지를 구축합니다. 동일한 관계를 설명하는 클레임을 여러 소스에서 병합하며, 불일치가 발생할 경우 인간의 검토를 위해 플래그를 표시합니다.

재귀적 확장 (Recursive Expansion): 시스템은 이 파이프라인을 발견된 상류 아티팩트에 재귀적으로 적용하여 다단계 의존성(예: 타겟 모델 $\to$ OCR 모델 $\to$ OCR 모델의 훈련 데이터)을 추적할 수 있게 합니다. 사용자는 커버리지를 제어하기 위해 탐색 전략(BFS, DFS 또는 Beam Search)을 설정할 수 있습니다.

주요 기여

• ModSleuth 시스템: 이질적인 공개 소스로부터 증거에 기반한 의존성 그래프를 재귀적으로 재구성하는 새로운 에이전트 프레임워크를 제안합니다.
• 재귀적 추적의 형식화: 직접 의존성과 간접 의존성을 구분하고, 연산 중심의 관계를 통해 다양한 파이프라인 역할을 구조적으로 표현하는 접근 방식을 정립했습니다.
• 대규모 의존성 그래프: 네 가지 공개 아티팩트가 풍부한 LLM 릴리스(Olmo 3, Nemotron 3, DR Tulu, SmolLM3)에 대해 의존성 그래프를 구축하여, 1,060개의 출처 검증된 의존성을 회복하고 최대 8 홉(hop) 깊이의 그래프를 생성했습니다.
• 감사 워크플로우: 감사 질문이 그래프 쿼리로 실행되어 개별 문서에서는 보이지 않는 위험 패턴을 드러내는 쿼리 기반 접근 방식을 제공합니다.

결과 및 발견

네 가지 다양한 LLM 릴리스에 적용했을 때, ModSleuth는 검증된 의존성을 회복하는 데 있어 베이스라인 LLM 및 에이전트들을 크게 능가했습니다.

• 성능: ModSleuth(무제한 범위)는 1,060개의 검증된 관계를 회복하여, 가장 강력한 베이스라인인 GPT-5.5 Pro(314개)보다 3배 이상 높은 성과를 보였습니다. 보수적인 depth-1 범위에서도 484개의 관계를 회복하여 베이스라인보다 54% 높은 성능을 기록했습니다.
• 그래프 규모: 병합된 그래프는 2,526개의 아티팩트 노드와 9,112개의 엣지를 포함합니다.
• 의존성 구성:
  • 직접 vs 간접: 검증된 엣지의 72%는 직접 의존성(가중치/데이터에 영향)이며, 28%는 간접 의존성(개발에 영향)입니다.
  • 데이터 vs 가중치 계보: 상류 모델은 가중치 계보보다는 데이터 연산(생성, 필터링, 변환)을 통해 하류 시스템을 형성합니다.
  • 외부 vs 내부: 검증된 의존성의 75~82%는 타겟 조직 외부의 것이며, Qwen, Llama, OpenAI가 가장 지배적인 상류 패밀리로 나타났습니다.

질적 발견

재구성된 그래프는 몇 가지 중요한 문제를 드러냈습니다:

1. 과소 보고 및 불일치: 논문, 코드, 모델 카드 간의 불일치(예: DR Tulu의 논문은 ScholarQA 구현에서 발견된 Claude Sonnet 3.7 의존성을 누락함).
2. 라이선스 관련 경로: Llama Community License와 같은 라이선스 제한이 합성 데이터 파이프라인(예: Llama가 생성한 주석을 추적하는 SmolLM3의 FineMath 데이터)을 통해 전파되는 다단계 체인.
3. 훈련-평가 결합: 벤치마크(예: IFEval, GSM8K, SWE-Bench)가 훈련 아티팩트와 평가 대상으로 동시에 등장하여 구조적 순환성을 생성함.
4. 모델 매개 선택: 상류 모델(판사, 필터)이 어떤 예시를 생성하거나 유지할지 결정함으로써, 소수의 패밀리(Qwen, DeepSeek, Llama)에 영향력이 집중됨.
5. 코드 수준의 출처: 핵심 의존성이 고수준 문서보다는 훈련 스크립트나 YAML 설정 파일에 숨겨져 있는 경우가 많음.

의의 및 한계점

의의:
본 논문은 LLM 의존성의 투명성 부족이 우발적인 것이 아니라 구조적인 문제라고 주장합니다. ModSleuth는 현대적 LLM 생태계가 예상보다 훨씬 더 서로 연결되어 있고 재귀적으로 의존하고 있음을 입증합니다. 이 연구는 파편화된 공개 증거를 구조화되고 쿼리가 가능한 그래프로 변환함으로써, 이러한 생태계를 감사하고 이해하며 거버넌스를 구축하는 토대를 제공합니다. 또한, 현재의 공시 메커니즘(모델 카드, 데이터 시트)이 재귀적이고 다단계적인 의존성을 포착하기에는 근본적으로 너무 평면적임을 강조합니다.

한계점:

• 하한선 (Lower Bound): ModSleuth는 공개 아티팩트로부터 선언된 의존성을 식별합니다. 문서화되지 않았거나 독점적인, 혹은 내부적인 의존성은 복구할 수 없습니다. 따라서 결과 그래프는 실제 의서 구조에 대한 증거 기반의 하한선을 나타냅니다.
• 정답 (Ground Truth): 완전한 정답 의존성 그래프는 존재하지 않으므로, 절대적인 재현율(recall)을 측정하기 어렵습니다. 평가는 보고된 증거에 대한 사후 검증에 의존합니다.
• 에이전트 편향: 추출 및 검증 파이프라인 모두 Claude Code에 의존하므로, 공유된 모델링 편향이 도입될 가능성이 있습니다.
• 범위: 분석은 공식 소스로 제한되며, 검증되지 않은 제3자의 주장은 제외되었습니다.

저자들은 LLM 파이프라인이 점점 더 재귀적으로 변함에 따라, 투명성 노력이 평면적인 문서화를 넘어 의존성 구조, 증거 및 역할 의미론을 명시적으로 표현하는 스키마로 진화해야 한다고 결론짓습니다.