A framework for analyzing concept representations in neural models

기술적 요약: 신경 모델 내 개념 표현 분석을 위한 프레임워크

문제 제기
신경 모델이 인간이 해석 가능한 개념을 어떻게 표현하는지 이해하는 것은 AI 및 인지 과학에서 여전히 중요한 과제로 남아 있습니다. 이전 연구들은 성별, 시제, 음성학 범주와 같은 많은 개념이 고차원 표현 공간 내에서 선형 방향이나 저차원 부분 공간으로 표현된다는 사실을 확립했지만, 이러한 주장을 평가할 수 있는 통합된 프레임워크는 존재하지 않습니다. 다양한 연구들은 상이한 가정과 방법에 의존합니다: "프로빙 (probing)" 연구는 개념이 부분 공간에서 해독 가능한지에 초점을 맞추는 반면, "개념 소거 (concept erasure)" 연구는 다른 정보를 손상시키지 않고 개념을 제거할 수 있는지에 초점을 맞춥니다. 결정적으로, 이러한 접근법들은 부분 공간을 식별하기 위해 종종 서로 다른 방법을 사용하며 체계적인 비교가 이루어지지 않아, 개념 표현의 구조에 대해 잠재적으로 상충되는 결론을 초래합니다.

방법론
저자들은 개념 표현을 포함 (containment) 과 분리 (disentanglement) 라는 두 가지 주요 축을 따라 특징짓기 위한 통합 프레임워크를 제안합니다.

1. 정의:

   • 개념 부분 공간 ($X_Y$): 개념 $Y$ 를 표현하도록 의도된 기저 요소들로 생성된 선형 부분 공간.
   • 포함: $Y$ 에 대한 정보가 $X_Y$ 내에 완전히 포함되어 있고 그 여집합 ($X^c_Y$) 에는 존재하지 않는지를 측정합니다. 이는 다음과 같이 운영화됩니다:
     • 유지 (Retention): $X_Y$ 로부터 $Y$ 를 예측하는 정확도.
     • 누출 (Leakage): $X^c_Y$ 로부터 $Y$ 를 예측하는 정확도.
   • 분리: 두 번째 개념 $Y'$ 로부터 $X_Y$ 가 격리된 정도를 측정합니다. 이는 다음과 같이 운영화됩니다:
     • 순도 (Purity): $X_Y$ 로부터 $Y'$ 를 예측하는 오율 (낮은 오율은 낮은 순도를 의미함).
     • 간섭 (Interference): $X_Y$ 를 소거한 후 $X^c_Y$ 로부터 $Y'$ 를 예측하는 오율 (높은 오율은 높은 간섭을 의미함).

2. 추정기:
   이 프레임워크는 방법 선택이 이러한 지표에 미치는 영향을 결정하기 위해 다섯 가지 감독식 개념 추정기를 평가합니다:

   • 다항 로지스틱 회귀 (MLR)
   • 선형 판별 분석 (LDA)
   • 중심 주성분 분석 (CPCA)
   • 입력 표현과 개념 간의 공분산 (COV)
   • LEACE (선형 개념 소거)
   • 기준선: 무작위 투영 (RAND)

3. 실험 설정:
   일반화에 대한 엄격한 평가를 보장하기 위해 저자들은 데이터를 세 개의 불교집합 (disjoint) 집합으로 분할합니다: space-train(부분 공간 추정을 위해), probe-train(프로빙 분류기 훈련을 위해), 그리고 test(평가를 위해). 이는 종종 겹치는 집합을 사용하여 인위적으로 영 (0) 누출을 보장하는 이전 연구들과 대조됩니다.

   실험은 다음과 같이 수행되었습니다:

   • 텍스트: 성별 및 직업 개념을 사용한 BERT 표현 (Short Biography 데이터셋).
   • 음성: 음성 범주 (음소) 및 화자 정체성을 사용한 HuBERT 표현 (LibriSpeech).

주요 결과

• 부분 공간의 비유일성: BERT 실험에서 서로 다른 추정기 (MLR 대 LEACE) 는 높은 유지율을 보였지만 누출률은 극적으로 다른 서로 다른 부분 공간들을 발견했습니다. 이는 개념 부분 공간이 유일하게 결정되지 않음을 보여줍니다. 높은 유지율은 해당 부분 공간이 개념의 유일한 또는 최적의 표현임을 보장하지 않습니다.
• 추정기의 영향: 추정기 선택은 포함 및 분리 점수를 크게 변화시킵니다.
  • LEACE: 전반적으로 가장 우수한 성능을 보였으며, 학습된 데이터에서 강한 유지율과 낮은 누출을 가진 부분 공간을 찾았습니다. 그러나 보지 못한 데이터에서는 상당한 누출을 보여, 일반화 시 "누출 없음" 보장에 의문을 제기했습니다.
  • MLR/LDA: 최적의 유지율을 달성했으나 높은 누출로 고통받았으며, 이는 상당한 개념 정보가 추정된 부분 공간 외부에 존재함을 나타냅니다.
• 음성 도메인 발견 (HuBERT):
  • 음소 정보: 음소 부분 공간은 화자 정보로부터 잘 포함되고 분리된 것으로 발견되었습니다.
  • 화자 정보: 화자 부분 공간은 컴팩트한 부분 공간에 포함시키기 어려웠습니다. 화자 정보는 음소로부터 분리되었으나 (화자 부분 공간을 소거해도 음소 인식에 해를 끼치지 않음), 화자에 대한 높은 유지율을 달성하려면 많은 수의 차원과 화자가 필요했습니다.
  • 일반화: 소수의 화자 집합에서 추정된 화자 부분 공간은 보지 못한 화자에게 일반화되지 않아 포함도가 낮았습니다. 훈련 화자 수와 부분 공간 차원을 늘리면 포함도는 향상되었으나 결국 순도가 저하되었습니다 (음소 정보가 화자 부분 공간으로 누출됨).

의의 및 주장
본 논문은 단일 지표 평가를 넘어 개념 표현을 분석하기 위한 필수적인 형식화를 제공한다고 주장합니다. 주요 기여점은 다음과 같습니다:

1. 통합 프레임워크: 개별 개념 표현과 개념 간 관계를 모두 포착하는 네 가지 보완적 지표 (유지, 누출, 순도, 간섭) 를 정의함으로써 다양한 연구 흐름의 가정을 명확히 합니다.
2. 방법론적 인식: 개념 구조에 대한 결론이 부분 공간 추정기 선택에 크게 의존함을 강조합니다. 저자들은 단일 추정기 (예: 유지율만 최적화된 추정기) 에 의존하는 것은 불완전하거나 오해의 소지가 있는 구조 분석으로 이어질 수 있다고 주장합니다.
3. 실증적 통찰: 이 프레임워크는 성별 (BERT 내) 이나 음소 (HuBERT 내) 와 같은 일부 개념은 견고한 선형 표현을 가지지만, 화자 정체성과 같은 다른 개념들은 컴팩트하고 일반화 가능한 선형 부분 공간으로 포착하기 어렵다는 것을 드러냅니다.
4. 현재 소거 방법의 한계: 이 연구는 LEACE 와 같은 최첨단 소거 방법조차 보지 못한 데이터로 일반화하는 데 어려움을 겪음을 보여주며, 훈련 데이터에서의 "누출 없음" 보장이 더 넓은 표현 공간으로 확장되지 않음을 시사합니다.

저자들은 이 프레임워크가 신경 모델을 해석하고 제어하는 향후 연구에 더 엄격한 기반을 제공하며, 특히 개념 부분 공간 내부에 무엇이 있고 외부에 무엇이 남아 있는지를 모두 평가할 필요성을 강조함으로써 결론을 내립니다.