1. 문제 정의 (Problem)

트랜스포머 기반 언어 모델 (BERT, LLM 등) 은 분류 및 텍스트 생성 작업에서 널리 사용되지만, 그 내부 동작을 이해하는 것은 디버깅, 편향 탐지, 안전성 확보를 위해 필수적입니다. 현재 연구자들은 모델의 행동을 설명하기 위해 두 가지 주요 접근법을 사용합니다.

1. 귀속 (Attribution): 입력 토큰이나 구의 중요도 점수를 산출하는 방법.
2. 개념 기반 설명 (Concept-based Explanations): 활성화 (activation) 에서 학습된 고수준 특징 (개념) 을 기반으로 한 설명.

현재의 한계:

• 기존 라이브러리들은 귀속 방법과 개념 기반 설명을 별도의 패키지로 제공하거나, 특정 작업 (분류 또는 생성) 에만 국한되어 있어 파이프라인 복잡성이 증가합니다.
• 개념 기반 설명의 경우, 모델 분할, 활성화 추출, 개념 학습, 해석, 점수 매기기 등 여러 단계를 수행하기 위해 여러 도구를 조합해야 하는 경우가 많으며, 통합된 API 와 문서화가 부족합니다.

2. 방법론 (Methodology)

INTERPRETO는 HuggingFace 언어 모델을 해석하기 위한 오픈소스 Python 라이브러리로, **귀속 (Attribution)**과 개념 기반 (Concept-based) 설명을 하나의 통합된 API 로 제공합니다.

핵심 모듈 및 파이프라인

1. Attributions Module (귀속 모듈):

   • 기능: 분류 및 텍스트 생성 모델에 대한 입력 요소 (토큰, 단어, 문장) 의 중요도를 계산합니다.
   • 지원 방법:
     • 교란 기반 (Perturbation-based): KernelSHAP, LIME, Occlusion, Sobol 등 4 가지.
     • 기울기 기반 (Gradient-based): GradientSHAP, Integrated Gradients, Saliency, SmoothGrad 등 6 가지.
   • 특징: 입력의 세분화 (token, word, sentence level) 를 제어할 수 있으며, 분류와 생성 작업 모두를 지원합니다.

2. Concepts Module (개념 모듈):

   • 기능: 모델의 활성화에서 반복되는 패턴 (개념) 을 학습하고 이를 인간이 이해할 수 있는 라벨로 해석하는 종단 간 (End-to-End) 파이프라인을 제공합니다.
   • 4 단계 워크플로우:
     1. 모델 분할 및 활성화 추출: nnsight 라이브러리를 기반으로 HuggingFace 모델을 분할하여 데이터셋의 잠재 활성화 (latent activations) 를 수집합니다.
     2. 개념 학습: 수집된 활성화에 대해 개념 모델을 학습합니다. (KMeans, PCA, SVD, NMF, Semi-NMF, SAE 등 15 가지 이상의 옵션 지원).
     3. 개념 해석: 학습된 개념에 인간이 이해 가능한 라벨을 부여합니다. (Top-k 토큰, MaxAct 예시, LLM 기반 라벨링 등 3 가지 방법).
     4. 개념 중요도 추정: 모델 출력에 대한 각 개념의 기여도를 점수화합니다.

3. 주요 기여 (Key Contributions)

• 통합 API 및 범용성: 분류 (Sequence Classification) 와 텍스트 생성 (Text Generation) 작업 모두를 지원하는 단일 API 를 제공합니다. 이는 기존 라이브러리들이 주로 분류에 치중하거나 생성에만 특화된 것과 차별화됩니다.
• 종단 간 개념 기반 파이프라인: 기존 라이브러리들이 제공하는 개별 단계 (모델 분할, 학습, 해석 등) 를 하나의 패키지로 통합하여, 연구 방법론의 실제 적용 (Adoption) 과 벤치마킹을 용이하게 합니다.
• 풍부한 기능 지원:
  • 10 가지 귀속 방법 및 2 가지 신뢰성 (Faithfulness) 지표.
  • 15 가지 개념 학습 옵션 (주로 Overcomplete 사전 학습 기반), 3 가지 해석 방법, 7 가지 평가 지표.
  • 시각화 도구, 튜토리얼, 문서화 포함.
• 확장성: 사용자가 새로운 방법론을 쉽게 구현할 수 있도록 모듈화된 아키텍처를 제공합니다. (예: 커스텀 교란 함수, 집계기 구현 시 기존 블록 재사용 가능).

4. 결과 및 검증 (Results & Validation)

• 지원 모델: BERT, DistilBERT, RoBERTa, GPT-2, Qwen3, Llama 3.1 등 15 개 이상의 다양한 아키텍처를 테스트하여 호환성을 검증했습니다.
• 성능 및 효율성:
  • 귀속: 10100 번의 순전파 또는 520 번의 기울기 계산으로 설명 생성 (수 초 소요).
  • 개념: 활성화 추출 및 점수 계산이 주된 병목이며, RTX 3080 기준 소규모 실험은 수 분, 대규모 SAE 는 수 시간 소요.
• 실제 적용 사례: 산업계 (항공 NOTAM 분석 등) 에서 INTERPRETO 를 사용하여 모델 디버깅 및 편향 탐지를 수행한 사례가 있으며, Mussot et al. (2026) 의 연구에서 실용성을 입증했습니다.
• 데모 웹사이트: 사전 계산된 다양한 모델 (분류기 3 개, 생성기 3 개) 에 대한 설명을 시각적으로 탐색할 수 있는 웹사이트를 제공하며, 코드 스니펫을 바로 실행할 수 있게 합니다.

5. 의의 및 결론 (Significance)

• 접근성 향상: 복잡한 기계적 해석 (Mechanistic Interpretability) 기법과 개념 기반 설명을 HuggingFace 생태계 내에서 쉽게 사용할 수 있게 함으로써, 연구자와 실무자 간의 장벽을 낮춥니다.
• 표준화: 분류와 생성 작업을 아우르는 통일된 인터페이스를 제공하여, 다양한 모델에 대한 설명 방법의 비교 (Benchmarking) 와 표준화를 촉진합니다.
• 윤리적 고려: 설명 결과가 절대적인 인과 관계가 아님을 명시하며, 이를 진단적 증거로 활용하고 추가 검증 (반사실적 테스트 등) 을 통해 편향이나 오류를 식별하는 도구로써의 역할을 강조합니다.

요약하자면, INTERPRETO 는 트랜스포머 모델의 '블랙박스' 문제를 해결하기 위해 귀속과 개념 기반 설명을 통합한 포괄적인 도구셋을 제공하며, 특히 생성 모델까지 지원하는 통합 파이프라인을 통해 NLP 해석 가능성 연구의 실용성을 크게 높였습니다.