iBERT: Interpretable Embeddings via Sense Decomposition

기술 요약: iBERT: 감각 분해를 통한 해석 가능한 임베딩

문제 정의
SBERT나 SimCSE와 같은 현재의 신경망 인코더는 밀집 벡터 표현(dense vector representations)을 생성하여 의미론적 검색에는 탁월하지만 투명성이 부족합니다. 이러한 모델들은 스타일과 의미가 어떻게 인코딩되는지 제어하거나 해석할 수 있는 명확한 메커니즘을 제공하지 못하며, 이는 저자 검증, 톤 제어 생성, 스타일 기반 모더레이션과 같이 표현의 투명성을 요구하는 도메인에서 신뢰성을 제한합니다. 기존의 해석 가능성 방법론은 대개 사후적(post-hoc) 방식(예: 프로빙, 살리언시 맵)이며, 해석 가능성을 고려하여 설계되지 않은 표현에 적용되기에 불완전하거나 충실하지 못한 설명을 생성합니다. 또한, 이전의 스타일 표현 학습은 대리 감독(proxy supervision, 예: 저자 정체성)에 의존하는 경우가 많아, 콘텐츠와 스타일이 불가분하게 뒤섞인 얽힌 임베딩을 초래합니다. 본 논문은 다음과 같은 질문을 던집니다: 사후 분석이 아니라, 설계 단계에서부터 의미론적 및 스타일적 표현을 명시적이고 제어 가능하게 만들 수 있는 인코더를 설계할 수 있는가?

방법론
저자들은 본질적으로 해석 가능하고 제어 가능한 임베딩을 생성하도록 설계된 인코더 아키텍처인 iBERT(interpretable-BERT)를 제안합니다.

• 아키텍처: iBERT는 각 입력 토큰을 $k$개의 문맥 독립적인 '감각 벡터(sense vectors)'에 대한 희소하고 비음수적인 혼합(non-negative mixture)으로 인코딩합니다. 표준적인 밀집 임베딩과 달리, 이 모델은 토큰 표현을 $k$개의 구별된 "감각(senses)"으로 분해합니다 (예: 실험에서는 $k=8$).
  • 토큰 인코딩: 토큰 $x_i$는 표준 임베딩으로 매핑된 후 $k$개의 감각으로 투영됩니다. 트랜스포머 인코더는 문맥 상태를 생성하며, 이는 감각별 쿼리(query) 및 키(key)로 투영되어 혼합 가중치($\alpha_{\ell,i,j}$)를 계산합니다. 최종 토큰 표현 $o_i$는 이러한 문맥 독립적 감각 벡터들의 볼록 혼합(convex mixture)입니다.
  • 문장 풀링(Sentence Pooling): 문장 임베딩을 생성하기 위해, 모델은 토큰 수준의 감각 활성화에 대해 구조화된 풀링을 적용합니다. 논문은 세 가지 변형을 정의합니다:
    • iBERT-v1 (평균 풀링): 모든 토کن 표현의 균등 평균.
    • iBERT-v2 (최상위 감각 풀링): 시퀀스에 대해 지배적인 감각을 식별하고, 모든 토큰에 대해 해당 감각만을 유지함 (하드 선택).
    • iBERT-v3 (소프트맥스 블렌드): 온도 파라미터 $\tau$를 사용하여 v1과 v2 사이를 보간함으로써 감각 선택의 날카로움(sharpness)을 조절함 (소프트 블렌딩).
• 학습 파이프라인:
  • 단계 0 (MLM 사전 학습): iBERT는 의미 있는 감각 벡터를 구축하기 위해 FineWeb 코퍼스(750B 토큰)의 5%를 사용하여 마스크 언어 모델링(MLM) 방식으로 처음부터 사전 학습됩니다. 이는 171M 파라미터의 인코더를 생성합니다.
  • 단계 1 (스타일 표현 학습): 모델은 스타일적 변이를 목표로 하는 대조적 트리플렛($\langle s, s^+, s^- \rangle$)을 사용하여 미세 조정됩니다. 학습 데이터에는 통제된 어휘적/구문적 변이를 가진 StyleSynth(Patel et al., 2025)의 합성 트리플렛과 저자 라벨이 붙은 Wegmann et al. (2022)의 트리플렛이 포함됩니다. InfoNCE 손실 함수는 스타일적으로 유사한 입력 간에는 가까워지도록 하고, 서로 다른 입력 간에는 멀어지도록 유도하는 데 사용됩니다.
• 베이스라인: 공정한 비교를 위해, 저자들은 동일한 데이터로 표준 BERT-base 모델을 처음부터 학습시키고 동일한 대조 학습 목적 함수로 미세 조정하여(BERT-SD, BERT-WG, BERT-WG+SD 생성) 밀집 베이스라인으로 사용합니다.

주요 기여

1. iBERT 아키텍처: 설계 단계에서부터 해석 가능한 토큰 및 문장 임베딩을 생성하는, 제어 가능하고 분해 가능한 표현을 가진 인코더를 도입했습니다.
2. 성능: 세 가지 벤치마크(STEL, SoC, PAN)에서 강력한 성능을 입증하였으며, 밀집 베이스라인 대비 최대 +8%의 스타일 표현 효과성(STEL) 향상을 달면서도 저자 검증에서 경쟁력 있는 성능을 유지했습니다.
3. 새로운 해석 가능성: 특정 감각 벡터를 프로브하여 특정 스타일 특성을 파악하고, 속성을 규명하기 위해 감각을 절제(ablate)하며, 제어된 스타일 전이를 위해 임베딩을 편집할 수 있습니다. 논문은 특정 스타일 속성(예: 이모지 사용, 풍자, 어휘 선택)이 특정 감각 벡터에 할당됨을 강조합니다.

결과

• STEL (스타일 표현 효과성): iBERT 모델은 BERT 베이스라인을 크게 능가합니다. 직접적인 스타일 감독(StyleSynth) 하에서, iBERT-v3-1은 38.3%의 STEL(128 토큰)을 달성하여 BERT 베이스라인보다 6.7포인트 높은 성과를 보였습니다. iBERT-v3 변형들(소프트 블렌딩)은 일반적으로 하드 선택 방식인 iBERT-v2보다 우수한 성능을 보였으며, 이는 소프트 감각 가중치가 균등 혼합과 엄격한 희소성 사이의 간극을 메워준다는 것을 시사합니다.
• SoC (스타일 대 콘텐츠): iBERT-v3-1은 가장 높은 스타일 극성 분리도(92.8% 정확도)를 달eric하였으며, 이는 모델이 해석 가능성을 유지하면서도 극성 민감도를 보존할 수 있음을 보여줍니다.
• PAN (저자 검증): 대리 스타일 작업으로서, iBERT 변형들은 128토큰 입력에서 BERT와 대등하거나 약간 더 나은 성능을 보였습니다. 그러나 512토큰 입력에서는 BERT가 iBERT(61.92% 대 61.07%)를 약간 앞질렀는데, 이는 BERT의 긴밀한 스타일-콘텐츠 결합이 확장된 문맥으로부터 더 많은 이득을 얻기 때문인 것으로 보입니다. iBERT는 명시적인 스타일 라벨 없이 감독이 노이즈가 심한 경우(저자 정체성만 있는 경우) 더 어려움을 겪었으나, 여전히 경쟁력 있는 성능을 유지했습니다.
• 해석 가능성 분석: 프로빙 결과, 개별 감각은 뚜렷한 스타일 클러스터(예: 감각 $\ell=2$는 풍자와 같은 정동적 톤에 정렬됨, $\ell=0$은 이모지와 같은 표면적 마커에 정렬됨)를 전문화함을 보여주었습니다. 절제 연구는 스타일과 정렬된 감각을 제거했을 때 해당 특정 스타일의 분리도가 급격히 감소(최대 66% 거리 감소)하는 반면, 관련 없는 스타일에는 최소한의 영향만을 미친다는 것을 확인시켜 주었으며, 이를 통해 편집의 국소성(locality)을 입증했습니다.

의의 및 주장
본 논문은 iBERT가 사후적 해석 가능성에서 아키텍처에 기반한 해석 가능성으로의 전환을 나타낸다고 주장합니다. 설계상 iBERT는 차별적 신호(의미론적 또는 스타일적)를 모듈형 감각 벡터로 분해합니다.

• 모듈성: 모델은 (이모지 제거 또는 격식 변화와 같이) 관련 없는 속성을 방해하지 않고 임베딩 공간에서 타겟팅된 편집을 허용합니다. 이는 밀집 인코더에서는 어려운 작업입니다.
• 일반화: 스타일 모델링을 위해 평가되었지만, iBERT는 스타일 모델링에 국한되지 않습니다. 이 모델의 구조적 모듈성은 존재하는 어떤 차별적 신호(의미론적 또는 스타일적 요소가 혼합된 경우라도)를 해석 가능하게 분해하도록 설계되었습니다.
• 트레이드오프: 저자들은 모듈형 구조가 깊은 문맥적 통합이 필요한 작업(예: 장문에서의 의미론적 표류)에서 밀집 인코더에 비해 약간의 성능 격차를 초래할 수 있음을 인정합니다. 또한, 감각 전문화는 시퀀스 길이에 민감하며, 현재 연구는 영어에 집중되어 있습니다.

저자들은 iBERT가 단순히 강력할 뿐만 아니라 본질적으로 이해 가능한 임베딩 모델로 가는 단계이며, 투명하고 모듈화된 NLP 파이프라인의 실행 가능한 백본 역할을 한다고 결론짓습니다.