Adversarial Concept Search: Predicting Compositional Errors From Feature Geometry

기술 요약: 적대적 개념 탐색 (Adversarial Concept Search)

문제 정의

대규모 언어 모델(LLM)이 발전함에 따라, 남아있는 도전 과제와 에지 케이스(edge cases)를 식별하는 것이 점점 더 어려워지고 있습니다. 인간은 어떤 개념의 조합이 모델의 실패를 유도할지 신뢰성 있게 예측할 수 없습니다. 결과적으로 개발자들은 특정 실패 모드를 놓칠 수 있는 비효적인 데이터셋 큐레이션이나 광범위한 벤치마크에 의존하게 됩니다. 본 논문은 **적대적 개념 탐색(Adversarial Concept Search, ACS)**을 제안합니다. 이는 특정 인스턴스화된 입력을 모델에 평가하지 않고도, 어떤 개념적 시나리오에서 모델이 실패할지를 예측하는 방법론입니다. 핵심 목표는 모델의 내부 표현 기하학(internal representational geometry)을 분석함으로써, 알려진 원자적 개념들을 새로운 구성으로 재조합하는 능력인 **구성적 일반화(compositional generalization)**의 실패를 예측하는 것입니다.

이론적 토대: 손실성 중첩 (Lossy Superposition)

본 논문은 구성적 실패의 원인을 중첩(superposition) 속에 인코딩된 **두드러진 특징들 사이의 간섭(interference between salient features)**으로 돌립니다.

• 중첩(Superposition): LLM은 제한된 차원 안에 많은 특징들을 공유하는 선형 방향을 통해 여러 특징을 인코딩합니다. 압축 센싱(compressed sensing)의 이론적 연구에 따르면, 만약 특징 활성화가 희소하다면($k \ll d$), 비직교 인코딩을 사용하더라도 손실 없이 복구가 가능합니다.
• 손실성 현실(Lossy Reality): 저자들은 실제 LLM 추론 과정에는 노이즈가 포함되어 있어 디코딩 과정이 **손실적(lossy)**이 된다고 가정합니다. 여러 개의 비직교 특징 인코딩이 동시에 활성화될 때, 이들은 서로 간섭하여 복구 성능을 저하시킵니다.
• 기하학적 가설(Geometric Hypothesis): 구성적 오류는 원자적 개념 표현들 사이의 기하학적 간섭에서 발생합니다. 구체적으로, 개념들의 선형 인코딩이 가까울 때(작은 각도), 간섭이 높아져 실패로 이어집니다. 반면, 이들이 거의 직교(near-orthogonal)할 때 모델은 이를 안정적으로 구성할 수 있습니다.

방법론

저자들은 이 간섭을 정량화하고 실패를 예측하기 위해 **구성적 간섭(Compositional Interference, CI)**이라는 지표를 도입합니다.

1. 두드러진 특징 인코딩 추정

그라운드 트루스(ground-truth) 잠재 특징에 직접 접근할 수 없으므로, 저자들은 **잔차 스트림 표현(residual-stream representations)**을 사용하여 이를 추정합니다.

• 원자적 개념(Atomic Concepts): 표현은 특정 원자적 개념(예: 토큰 "jump" 또는 언어 "Spanish")을 인스턴스화하는 예시들로부터 도출됩니다.
• 구조 처리(Handling Structure): 가공되지 않은 표현은 특정 개념과 무관한 대규모 구조(예: 태스크 패밀리 또는 프롬프트 유형)를 포함할 수 있습니다. 이를 완화하기 위해 저자들은 각도를 계산하기 전 지배적인 클러스터에 대해 **평균 중심화(mean-centering)**를 적용합니다.
• 다국어 서브스페이스(Multilingual Subspaces): 언어 개념의 경우, 단일 벡터 대신 해당 언어의 코퍼스에 대한 SVD를 통해 얻은 저차원 서브스페이스를 사용하여 언어 개념을 표현합니다.

2. 구성적 간섭(CI)의 정의

CI는 활성화된 개념 $C$의 두드러진 지지 집합(salient support)에 대한 **국소 누적 일관성(local cumulative coherence)**의 정규화된 변형으로 정의됩니다.
$$CI(C) = \max_{i \in S(C)} \frac{1}{|S(C)|} \sum_{j \in S(C), j \neq i} |\cos(a_i, a_j)|$$
여기서 $a_i$와 $a_j$는 두드러진 잠재 특징 방향의 경험적 인코딩입니다.

• 높은 CI: 특징 간의 간섭이 높음(작은 각도)을 나타내며, 구성적 실패의 가능성이 높음을 예측합니다.
• 낮은 CI: 거의 직교함을 나타내며, 안정적인 구성을 예측합니다.

3. 적대적 개념 탐색 (ACS)

이 방법은 CI를 사용하여 개념 조합의 난이도를 순위 매깁니다. 자원 제약이 있는 상황에서 개발자는 모든 가능한 입력을 테스트하지 않고도 최대의 오류 커버리지를 확보할 수 있는 가장 높은 CI를 가진 조합의 부분 집합을 선택하여 "챌린지 세트"를 구성할 수 있습니다.

주요 기여 및 결과

1. 통제된 합성 검증 (SCAN)

저자들은 밑바닥부터 학습된 토이 모델을 사용하여 SCAN 벤치마크(합성적 구성 일반화 태스크)를 통해 가설을 검증했습니다.

• 결과: 학습 커버리지와 모델 용량이 표현의 기하학적 구조를 체계적으로 변화시킨다는 것을 입증했습니다.
• 상관관계: 다양한 모델 크기와 학습 체제 전반에 걸쳐, 낮은 CI(더 높은 직교성)는 높은 정확도와 상관관계가 있었고, 높은 CI는 실패와 상관관계가 있었습니다.
• 의의: CI는 구성된 입력을 직접 평가하지 않고도 예시의 난이도를 신뢰성 있게 순위 매겼으며, 무작위 순서보다 성능이 뛰어났습니다(PR-AUC > baseline).

2. 실제 LLM에서의 예측 (Llama-3.2-3B)

이 방법은 실제 3B 파라미터 LLM에 대해 두 가지 태스크에 적용되었습니다:

• 멀티홉 질의응답(Multihop Question Answering): 모델이 이미 단일 홉 구성 요소에서는 성공했던 두 홉 질의(예: "1984의 저자의 출생 연도")에 대해 테스트되었습니다.
  • 결과: 원자적 질의(1984의 저자, 조지 오웰의 출생 연도)로부터 계산된 CI가 구성된 질의에서의 실패를 성공적으로 예측했습니다. CI와 정확도 사이에서 강한 음의 상관관계($r = -0.855$)가 발견되었습니다.
• 다국어 사실 회상(Multilingual Factual Recall): 모델이 영어 이외의 언어로 사실을 인출하는 능력을 테스트했습니다.
  • 결과: 영어 사실 표현과 대상 언어 서브스페이스 사이의 각도로 계산된 CI가 교차 언어 전이 실패를 예측했습니다.
  • 효율성: 이를 통해 실제 번역된 텍스트를 생성하거나 평가할 필요 없이 어려운 언어-사실 쌍을 식별할 수 있었습니다.

3. 거친 입도(Coarse-grained) 시나리오로의 일반화

저자들은 CI가 단순히 특정 인스턴스가 아니라 광범위한 카테고리(예: "스페인어로 된 국가 수도")의 난이도를 예측할 수 있음을 보여주었으며, 이는 지표가 일반적인 태스크 플래닝으로 확장될 수 있음을 시사합니다.

의의 및 주장

본 논문은 고위험 예시를 식별하고 타겟팅된 스트레스 테스트를 구축하기 위한 확장 가능한 기반을 구축했다고 주장합니다.

• 선제적 실패 예측: 특정 입력을 처리해야 하는 능동 학습(active learning) 방식과 달리, ACS는 원자적 개념 설명의 기하학으로부터 순수하게 실패 모드를 예측합니다.
• 자원 효율성: 개발자가 전체 데이터셋을 생성하기 전에 "문제 영역"(예: 특정 언어의 특정 사실)에 대한 데이터 수집이나 번역 노력을 우선순위에 둘 수 있게 합니다.
• 기계론적 통찰: 이 연구는 이론적 중첩과 실제 모델 실패 사이의 간계를 연결하며, 직교성이 노이즈가 있는 손실적 디코딩 환경에서 견고한 구성을 위한 실질적인 필수 조건임을 시사합니다.

저자들은 현재의 방법이 단일 기하학적 척도와 단순한 원자적 표현에 의존하고 있다는 점을 언급하며 겸허한 태도를 유지합니다. 그들은 향-연구에서 더 풍부한 개념 식별(예: Sparse Autoencoders를 통한)을 탐구하고 파괴적 간섭과 건설적 간섭을 구분할 수 있을 것이라고 인정합니다. 그러나 이러한 최소한의 설정만으로도 표현의 기하학이 구성적 일반화를 예측하는 데 실행 가능한 정보를 담고 있음을 성공적으로 입증했다고 주장합니다.