기술 요약: LLM DNA: 기능적 표현을 통한 모델 진화 추적

문제 제기

대규모 언어 모델 (LLM) 의 급속한 확산으로 인해, 수백만 개의 모델이 존재하지만 진화적 관계에 대한 문서화가 부재한 광대하고 불투명한 환경이 조성되었습니다. 파인튜닝, 증류, 또는 적응을 통해 모델이 어떻게 진화하는지 추적하는 것은 안전 감사 (예: 백도어 전이 추적), 모델 거버넌스 (예: 라이선스 준수 검증), 그리고 다중 에이전트 시스템 설계에 필수적입니다. 그러나 'LLM DNA'를 정의하는 기존 방법들은 다음과 같은 중대한 한계를 겪고 있습니다:

• 작업 특이성: 많은 접근 방식이 모델들을 특정 작업 (예: 라우팅 또는 앙상블 학습) 에 최적화된 표현으로 압축하여, 작업 간 일반화 실패나 내재적 모델 특성을 포착하지 못합니다.
• 고정 집합: 일부 작업 무관 방법 (예: EmbedLLM) 은 고정된 모델 집합에 상대적인 표현을 정의하므로, 새로운 모델이 추가될 때마다 표현이 변경되어 단일 모델의 내재적 속성이 될 수 없습니다.
• 구조적 의존성: 토큰 유사성이나 파라미터 상관관계에 의존하는 출처 확인 방법들은 서로 다른 아키텍처와 토크나이저를 가진 이질적인 LLM 들 간에 일반화되지 않는 경우가 많습니다.

LLM 의 기능적 행동과 진화적 계보를 포착하는 안정적이고 내재적인 'DNA'를 정의하고 추출하기 위한 원칙적이고 형식적인 프레임워크가 부재합니다.

방법론

본 논문은 생물학적 DNA 와 유사하게 LLM 의 기능적 행동을 수학적으로 정의하고 저차원 표현으로 추출하는 형식적 프레임워크인 LLM DNA를 제안합니다.

1. 이론적 기반

저자들은 이산적 입력 시퀀스를 연속적인 로그 확률 벡터로 매핑하는 함수로서 LLM 을 형식적으로 정의합니다. 그리고 LLM DNA를 LLM 기능 공간 $\mathcal{F}$에서 DNA 공간 $\mathcal{D}$로의 양-리프시츠 (bi-Lipschitz) 사상을 통해 얻은 저차원 벡터 $\tau_f$로 정의합니다.

• 양-리프시츠 조건: 이 사상은 두 DNA 벡터 간의 거리가 해당 모델들 간의 기능적 거리에 의해 제한됨을 보장합니다 ($c_1 \cdot d_H(f_1, f_2) \le d_\tau(\tau_{f_1}, \tau_{f_2}) \le c_2 \cdot d_H(f_1, f_2)$).
• 속성: 이 정의는 수학적으로 두 가지 핵심 속성을 보장합니다:
  • 유전: 모델에 대한 작은 교란 (예: 파인튜닝) 은 DNA 의 작은 변화로 이어집니다.
  • 유전적 결정론: 유사한 DNA 를 가진 모델들은 유사한 기능적 행동을 보입니다.
• 존재 증명: 존슨 - 린덴스트라우스 (JL) 보조정리를 사용하여, 저자들은 기능 공간의 기하학을 보존하는 임의의 유한한 LLM 집합에 대해 그러한 저차원 임베딩이 존재함을 증명합니다.

2. 실용적 추출 파이프라인: RepTrace

실제적으로 학습 없이 LLM DNA 를 추출하기 위해, 저자들은 확장 가능하고 학습이 불필요한 파이프라인인 RepTrace를 소개합니다:

1. 의미적 표현: 원시 문자열을 비교하는 대신, 파이프라인은 문장 임베딩 모델을 사용하여 모델 응답을 의미 벡터로 변환합니다. 이는 의미적 동등성 (예: "holiday" 대 "vacation") 을 처리하고 폐쇄형 API 와도 작동합니다.
2. 확률적 기능적 거리: 전체 입력 공간을 평가하는 것은 불가능하므로, 이 방법은 확률적 기능적 거리를 사용하여 기능적 거리를 근사합니다. 이는 대표 프롬프트 집합을 샘플링하고, 응답을 수집한 후, 출력들의 연결된 의미 임베딩 간의 기대 유클리드 거리를 계산하는 과정을 포함합니다.
3. 랜덤 투영: JL 보조정리에서 도출된 이론적 통찰을 활용하여, 고차원 기능적 표현을 랜덤 가우시안 선형 투영을 사용하여 저차원 DNA 벡터로 투영합니다. 이 단계는 계산적으로 효율적이며 작업별 학습이 필요하지 않습니다.

주요 기여

1. 형식적 정의 및 존재 증명: 본 논문은 LLM DNA 를 양-리프시츠 표현으로 정의하는 최초의 형식적 수학적 정의를 제공하며, JL 보조정리를 사용하여 그 존재를 증명합니다.
2. 학습 불필요 추출 프레임워크: RepTrace를 제안하여, 재학습이나 내부 파라미터 접근 없이 다양한 아키텍처, 토크나이저, 크기를 가진 이질적인 LLM 들로부터 DNA 를 추출하는 일반적이고 확장 가능한 파이프라인을 제시합니다.
3. 실증적 검증: 305 개 LLM에 대한 광범위한 실험을 통해 LLM DNA 가 진화적 관계를 효과적으로 탐지하며, 관계 탐지 및 모델 라우팅 작업에서 기존 베이스라인보다 우수한 성능을 보임을 입증했습니다.
4. 진화적 분석: DNA 거리를 기반으로 한 LLM 의 계통수를 구축하여, 아키텍처 변화 (인코더 - 디코더에서 디코더 전용으로), 시간적 진행, 그리고 이전에 문서화되지 않았던 계보 관계를 밝혀냈습니다.

실험 결과

• 관계 탐지: 305 개 모델 데이터셋에서 LLM DNA 는 상관관계가 있는 모델 쌍과 독립적인 모델 쌍을 탐지하는 데 AUC 0.992를 달성하여, Random, Greedy, PhyloLM(AUC 0.788) 과 같은 베이스라인을 크게 앞섰습니다.
• 모델 라우팅: 학습이 불필요한 모델 라우팅 작업에서, 고정된 LLM DNA 벡터는 EmbedLLM 이 학습한 임베딩 (정확도 0.665) 보다 우수한 성능 (정확도 0.672) 을 보여주어, DNA 가 작업별 최적화 없이 내재적 기능적 속성을 포착함을 입증했습니다.
• 안정성: DNA 표현은 다양한 데이터셋 (Mantel 테스트 상관관계 $r > 0.75$), 랜덤 입력, 그리고 채팅 템플릿의 변화에 걸쳐 견고함이 입증되었습니다. 또한 파인튜닝이 데이터 크기에 따라 DNA 값을 단조롭게 변화시키면서도 전역적 구조 패턴은 유지함을 보여주었습니다.
• 계통학적 통찰: 구축된 진화적 나무는 알려진 아키텍처 변화와 출시 일정에 정확히 부합했습니다. 또한 모호한 문서화에도 불구하고 Microsoft 의 orca-2-13b와 LMSYS 의 vicuna-7b-v1.1이 Llama 기반 클러스터 내에서 군집화되는 등 문서화되지 않은 관계를 식별하여, 이들의 기반 모델을 시사했습니다.

중요성 및 주장

본 논문은 LLM DNA 가 LLM 생태계를 이해하기 위한 원칙적이고 데이터 기반의 프레임워크를 제공한다고 주장합니다. 그 중요성은 다음과 같습니다:

• 거버넌스 및 안전: 라이선스 준수 강제 및 조상 모델에서 자손 모델로의 안전 위험 (예: 백도어) 전파 추적을 위해 필수적인 모델 계보를 검증하는 기능적 방법을 제공합니다.
• 확장성: 이전의 재학습이나 고정된 모델 집합을 요구하는 방법들과 달리, RepTrace 는 새로운 모델에 대한 DNA 의 즉각적인 추출을 가능하게 하여 LLM 환경의 역동성을 지원합니다.
• 진화적 통찰: LLM 을 진화하는 종으로 간주함으로써, 이 프레임워크는 해당 분야의 역사를 시각화하여 가족별 (예: Qwen 과 Gemma 가 Llama 보다 빠르게 진화) 로 뚜렷한 진화 속도를 드러내고, 메타데이터만으로는 알 수 없는 숨겨진 연결고리를 밝혀냅니다.

저자들은 현재 정의가 DNA 서열에 구체적인 수학적 의미를 부여하지는 않지만, 관찰된 안정성과 유전 속성이 모델 관리, 위험 완화, 그리고 LLM 행동의 표적 수정에 대한 향후 연구에 견고한 기반을 제공한다고 강조합니다.