ABLE: Representing and Mapping LLMs via Attribution-Based Large-model Embedding

기술 요약: ABLE (Attribution-Based Large-model Embedding)

문제 정의
대규모 언어 모델(LLM) 생태계의 급격한 확장은 다양한 아키텍처, 규모, 학습 기원을 가진 이질적인 모델들의 집합을 초래했으며, 이들은 종종 명확한 문서화가 결여되어 있습니다. 이러한 불투명성은 출처 감사(provenance auditing), 보안 분석(예: 백도어 전파 추적), 지능형 모델 선택과 같은 중요한 작업을 복잡하게 만듭니다. 기존의 표현 방식은 다음과 같은 중대한 한계에 직면해 있습니다:

• 내부 특징 분석(Internal Feature Analysis): 파라미터나 활성화 함수를 분석하는 방법은 동질적인 모델군에는 효과적이지만, 구조적 이질성 문제에서는 어려움을 겪으며, 잘 확장되지 않는 복잡한 가중치 정렬 전략을 요구합니다.
• 외부 출력 프로빙(External Output Probing): 출력값(예: 로그 가능도 또는 생성된 텍스트)에 의존하는 블랙박스 방식은 확장성은 좋으나, 내부 연산은 다르면서 표면적인 동작만 유사한 모델들을 혼동하는 경우가 많습니다. 또한, 서로 다른 토크나이저와 어휘집(vocabulary)을 가진 모델 간의 출력을 비교하는 것은 어렵습니다.

방법론
저자들은 그래디언트 기반의 특징 기여도(feature attributions)를 집계하여 '해석 가능성 공간(interpretability space)'에 모델 표현을 구축하는 훈련이 필요 없는 프레임워크인 **ABLE (Attribution-Based Large-model Embedding)**을 제안합니다. 이 파이프라인은 세 단계로 구성됩니다:

1. 기여도 계산 (Attribution Computation):

   • 이 방법은 사전 정의된 다지선다형(MCQ) 프로빙 데이터셋에 대해 Gradient × Input (GI) 기여도를 활용합니다.
   • 각 모델에 대해, 모든 입력 토큰이 각 후보 정답 옵션의 로그 확률에 미치는 기여도를 계산합니다. 이는 단순히 최종 예측만을 포착하는 것이 아니라, 모델의 입력 민감도 패턴을 포착합니다.
   • 결과물은 고차원의 토큰 수준 기여도 벡터($a_{token}$)입니다.

2. 교차 토크나이저 정렬 (Cross-Tokenizer Alignment):

   • 서로 다른 토크나이저의 불일치 문제를 해결하기 위해, ABLE은 토크나이저에 무관한 정렬 프로세스를 채택합니다.
   • 토큰-문자 매핑 (Token-to-Character Mapping): 토큰 수준의 기여도를 원본 텍text의 문자 스팬(character spans)에 균등하게 분배합니다.
   • 문자-단어 집계 (Character-to-Word Aggregation): 공백 구분자를 기준으로 문자 수준의 기여도를 합산하여 단어 수준의 기여도를 형성합니다.
   • 이를 통해 하위의 토크나이저와 관계없이 모든 모델에 대해 통일된 단어 수준 기여도 벡터($a_{word}$)를 생성합니다.

3. 차원 축소 (Dimensionality Reduction):

   • 고차원의 단어 수준 벡터는 Johnson-Lindenstrauss (JL) 무작위 투영을 사용하여 압축된 저차원 임베딩 공간($K$ 차원)으로 투영됩니다.
   • 이는 높은 확률로 모델 간의 쌍별 거리(pairwise distances)를 보존하면서 효율적인 다운스트림 처리를 가능하게 합니다.

이론적 보장
본 논문은 미분 가능한 트랜스포머 스타일 모델에 대한 표준적인 정칙성 가정(regularity assumptions) 하에 안정성 분석을 제공합니다:

• 립시츠 연속성 (Lipschitz Continuity): 저자들은 ABLE이 모델 파라미터로부터 임베딩으로의 립시츠 연속 맵을 유도함을 증명합니다. 이는 모델 파라미터의 작은 섭동(perturbation)이 임베딩 공간에서 유계된 변화를 일으켜, 혼돈스러운 동작을 방지함을 보장합니다.
• 유한 샘플 수렴 (Finite-Sample Convergence): 본 논문은 경험적 표현(유한한 샘플 세트로부터 계산됨)이 샘플 크기가 증가함에 따라 모집단 수준의 표현으로 수렴함을 보여주는 집중 경계(concentration bounds)를 설정합니다.

실험 결과
이 프레임워크는 파라미터 크기가 70M에서 70B에 이르고 다양한 계열(예: Llama, Mistral, Qwen, Bloom)을 아우르는 239개의 오픈 소스 LLM을 대상으로 검증되었습니다. 주요 결과는 다음과 같습니다:

• 관계 예측 (Relation Prediction): ABLE은 두 모델이 관련이 있는지(동일한 소스에서 파생되었는지)를 예측하는 데 있어 출력 기반 방식(PhyloLM 및 Log-Likelihood 포함)보다 우수한 성능을 보였습니다. ABLE은 가장 높은 정확도(86.7%)와 정밀도(83.6%)를 달 기록하며, 출력 전용 방식이 놓치는 미묘한 파생 관계를 탐지하는 능력을 입증했습니다.
• 모델 라우팅 (Model Routing): 질문에 대해 어떤 모델이 정답을 맞히는지 예측하는 모델 라우팅 작업에서, 고정된(frozen) ABLE 특징을 사용한 라우터는 67.6%의 정확도를 달성하여 완전히 훈련된 EmbedLLM 베이스라인(66.5%)을 약간 상회했습니다. 결정적으로, ABLE은 훈련이 필요 없는 장점을 제공하여, 전체 시스템을 재학습하지 않고도 새로운 모델을 라우팅 풀에 추가할 수 있습니다.
• 벤치마크 점수 예측 (Benchmark Score Prediction): 릿지 회귀(ridge regression)를 사용하여, ABLE 특징은 표준 벤치마크(ARC, MMLU, TruthfulQA 등)에 대한 성능을 0.81에서 0.89 사이의 스피어만 상관계수로 예측했습니다.
• 후보 선택 (Candidate Selection): ABLE은 특정 작업(예: 수학 또는 추론 작업)을 위한 태스크 특화 모델 선택 시 탐색 공간을 성공적으로 좁혔으며, 유망한 베이스 모델을 선택하는 데 있어 높은 NDCG@10 점수(최대 0.990)를 달성했습니다.

의의 및 주장
본 논문은 ABLE이 내부 파라미터 분석과 외부 출력 프로빙 사이의 간극을 메우는 새로운 패러다임을 제공한다고 주장합니다. 해석 가능성 공간을 활용함으로써, ABLE은 아키텍처 및 토크나이저의 차이에 강건한 모델 특유의 입력 민감도 패턴을 포착합니다.

저자들은 ABLE이 기존 방법을 대체하는 것이 아니라, 이질적인 생태계에서도 확장 가능한 보완적 관점임을 강조합니다. 이 프레임워크는 다음과 같은 작업을 위한 원칙적이고 훈련이 필요 없는 접근 방식을 제공합니다:

1. 출처 감사 (Provenance Auditing): 숨겨진 관계 및 잠재적인 저작권 문제를 식별합니다.
2. 모델 라우팅 (Model Routing): 재학습 없이 특정 작업을 위해 모델을 효율적으로 선택합니다.
3. 성능 추정 (Performance Estimation): 모델 선택을 가이드하기 위해 벤치마크 점수를 예측합니다.

결론적으로, 기여도를 계산하는 데 일회성 비용이 발생하지만, 결과물인 재사용 가능한 임베딩은 효율적인 다운스트림 분석을 용이하게 하여 진화하는 LLM 지형을 매핑하는 안정적이고 해석 가능한 방법을 제공합니다.