🤖 machine learning

Feature Rivalry in Sparse Autoencoder Representations: A Mechanistic Study of Uncertainty-Driven Feature Competition in LLMs

본 논문은 Gemma-2-2B 에서 모델 불확실성의 기작적 지표로 작용하는 음의 상관관계를 가진 희소 자동인코더 특징 쌍인'특징 경쟁'을 제시하며, 고엔트로프 프롬프트가 특정 계층에서 더 강력한 경쟁을 유발한다는 점, 경쟁 축을 따라 조향하는 것이 출력에 인과적 영향을 미친다는 점, 그리고 경쟁 점수가 답변의 정확도를 예측할 수 있다는 점을 입증한다.

원저자: Harshavardhan

게시일 2026-05-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Harshavardhan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

Gemma-2와 같은 대규모 언어 모델 (LLM) 을 상상해 보세요. 이 모델은 수백만 명의 작은 일꾼 (뉴런) 이 서로 메모를 주고받으며 질문에 답하는 거대하고 분주한 도시와 같습니다. 보통 이 일꾼들은 전문화된 팀으로 조직되어 있습니다. 하지만 때로는 모델이 답을 확신하지 못할 때, 서로 다른 두 팀이 동시에 나타나서 서로 목소리를 높이며 대화를 장악하려 합니다.

이 논문은 그 혼란을"특성 경쟁 (Feature Rivalry)"이라고 부릅니다.

다음은 연구자들이 발견한 내용을 일상적인 비유로 쉽게 정리한 것입니다.

1. 핵심 아이디어: 뇌 속의"토론"

연구자들은**희소 오토인코더 (Sparse Autoencoder, SAE)**라는 특수 도구를 사용했습니다. 이 도구는 마치 최종 답변만 보는 것이 아니라 모델이 생각하고 있는 개별"개념"을 볼 수 있게 해주는 첨단 안경과 같습니다.

모델이 확신할 때: 완벽한 화음을 내는 합창단과 같습니다. 하나의 명확한 멜로디 (한 가지 지배적인 개념) 가 나머지 것들보다 더 크게 울려 퍼집니다.
모델이 불확실할 때: 시청 (Town Hall) 에서 격렬한 토론이 벌어지는 것과 같습니다. 두 가지 상반된 아이디어 (경쟁하는 특성) 가 서로를 누르려 하며 서로에게 소리칩니다. 논문은 모델이 불확실할 때 이러한"경쟁"개념들이 강한 음의 상관관계를 보인다는 것을 발견했습니다. 즉, 서로를 상쇄시키려고 적극적으로 싸웁니다.

2. 실험 1: 싸움은 어디서 일어날까?

연구자들은 모델에게 400 개의 질문을 던졌습니다. 이를 두 그룹으로 나누었습니다.

쉬운 질문: 모델이 즉시 답을 알았습니다 (낮은 엔트로피).
어렵거나 모호한 질문: 모델이 혼란스러워 매번 다른 답을 내놓았습니다 (높은 엔트로피).

발견:
개념 간의"싸움"은 모든 곳에서 일어나지 않았습니다. 모델의 뇌 속 두 가지 특정"방 (층)"에 집중되어 있었습니다.

방 0 (입구): 질문이 시스템에 들어오자마자 싸움이 시작됩니다. 모델이 논리를 처리하기 시작하기 전에도 불확실성이 이미 개념 간의 줄다리기 원인을 만들고 있습니다.
방 12 (중간): 처리 과정의 중간인, 모델이 의미를 조합하려 할 때 싸움이 다시 격화됩니다.

비유: 릴레이 경기를 상상해 보세요. 만약 주자가 경로를 확신하지 못하면, 출발선 (0 층) 에서 바로 넘어지고 트랙 중간인 배턴 넘기기 직전 (12 층) 에 다시 넘어집니다. 만약 확신한다면 매끄럽게 달립니다.

3. 실험 2: 저울을 기울일 수 있을까?

연구자들은 이 싸움이 실제로 모델이 답을 바꾸게 하는 원인인지, 아니면 단순한 부수 현상인지 알고 싶어 했습니다.

그들은**활성화 조종 (Activation Steering)**이라는 기법을 사용했습니다. 모델의 뇌를 배로, 그리고"경쟁"을 배를 좌우로 밀어붙이는 강한 해류로 상상해 보세요. 연구자들은 키를 잡고 경쟁이 일어나는 방향 (두 개념이 싸우는 방향) 으로 밀어붙였습니다.

발견:

경쟁 방향으로 살짝 밀어주었을 때, 무작위 방향으로 밀어주었을 때보다 모델이 답을 더 자주 바꾸었습니다.
비유: 꼭대기 자리를 차지하려고 싸우는 두 아이가 있는 시소와 같습니다. 만약"싸움"쪽 방향으로 시소를 살짝 밀어주면 균형을 기울여 모델이 다른 아이의 아이디어를 선택하게 만들 수 있습니다. 이는 경쟁이 단순한 소음이 아니라 출력을 형성하는 실제적이고 능동적인 힘임을 증명합니다.

4. 실험 3: 실수를 예측할 수 있을까?

마지막으로 그들은 이렇게 물었습니다."이 내부적인 싸움을 살펴보면 모델이 곧 잘못된 답을 낼지 예측할 수 있을까?"

그들은 모든 질문에 대해"경쟁 점수 (Rivalry Score)"를 만들었습니다.

높은 점수: 개념 간에 많은 싸움이 일어남.
낮은 점수: 개념들이 차분하고 동의함.

발견:

경쟁 점수는 실수를 예측하는 데 꽤 좋았습니다 (약 69% 정확도).
모델 자체의"신뢰도 게이지"(약 81% 정확도) 만큼은 아니었지만, 독특한 초능력이 있었습니다:최종 답을 보지 않아도 모델이 불확실하다는 것을 알 수 있었다는 점입니다.
비유: 모델의 신뢰도 게이지는 비가 온 후 기상 예보를 확인하는 것과 같습니다. 반면 경쟁 점수는 비가 시작되기 전 어두운 구름이 모이는 것을 바라보는 것과 같습니다. 이는 결과에 기반한 것이 아니라 내부 폭풍에 기반한 조기 경보입니다.

요약

이 논문은 AI 가 혼란스러울 때 내부의"일꾼"들이 서로 싸운다는 것을 보여줍니다. 이 싸움은 다음과 같은 특징을 가집니다.

AI 의 사고 과정의 특정 단계에서 일어납니다.
올바른 방향으로 밀어주면 AI 가 말하는 내용을 실제로 바꿉니다.
AI 가 잘못된 답을 주기 전에도 AI 가 불확실하다는 것을 알려주는"연기 감지기"로 사용할 수 있습니다.

연구자들은 이것이 모델이무엇을생각하는지뿐만 아니라어떻게생각하는지를 이해하는 방법이며, AI 불확실성의"블랙박스"에 대한 새로운 창을 제공한다고 강조합니다.

기술 요약: 희소 자동 인코더 표현에서의 특징 경쟁

문제 제기

희소 자동 인코더 (SAE) 는 대규모 언어 모델 (LLM) 의 표현을 해석 가능하고 단일 의미론적인 특징으로 분해하는 표준 도구가 되었지만, 불확실성 조건 하에서 이러한 특징들이 상호작용하는 메커니즘은 여전히 잘 이해되지 않고 있습니다. 구체적으로, 여러 특징이 동시에 활성화될 때 발생하는 경쟁이 모델 불확실성의 메커니즘적 특징인지 여부는 명확하지 않습니다. 본 논문은 특정 층에서 강하게 음의 상관관계를 보이는 SAE 특징 쌍의 존재를 '특징 경쟁 (Feature Rivalry)'으로 정의하고, 이를 모델 처리의 모호성에 대한 잠재적 지표로 조사합니다.

방법론

본 연구는 13 개의 층 (0–24, 간격 2) 에 걸쳐 Gemma-2-2B와 Gemma Scope SAE(너비 16k) 를 활용합니다. 실험 설계는 PopQA데이터셋을 기반으로 하며, 데이터셋 수준의 교란 요인으로부터 모델 불확실성을 분리하기 위해 도메인 내 엔트로피 분할을 사용합니다.

데이터 준비: 저자는 온도 1.0 에서 질문당 20 개의 완성본을 샘플링하여 정규화된 섀넌 엔트로피 ( $H(q)$ ) 를 계산했습니다. 질문은 두 가지 조건으로 나뉩니다:
- 모호함 (고엔트로피): $H(q) > 0.7$ (200 개 질문).
- 명확함 (저엔트로피): $H(q) < 0.5$ (200 개 질문).
- 이 설계는 도메인, 형식, 답변 유형이 일정하게 유지되도록 하여, 관찰된 차이를 오직 모델 불확실성으로 귀인되도록 합니다.
실험 1: 경쟁 국소화:
- 지표: '경쟁 점수 (Rivalry Score)'는 특정 층에서 프롬프트 전반에 걸친 특징 활성화의 모든 쌍별 피어슨 상관관계의 5 백분위수로 정의됩니다. 더 음의 값은 더 강한 경쟁을 나타냅니다.
- 분석: 맨 - 휘트니 U 검정을 통해 층별 모호 조건과 명확 조건 간의 경쟁 분포를 비교했습니다.
실험 2: 인과적 개입 (활성화 조향):
- 설정: 상위 20 개의 경쟁 특징 쌍을 식별했습니다. 두 경쟁 특징의 디코더 벡터를 뺀 ( $W_{dec}[A] - W_{dec}[B]$ ) '경쟁 축 (rivalry axis)' 벡터 ( $v_{rivalry}$ ) 를 구성했습니다.
- 개입: 10 층에서 생성하는 동안, 이 벡터를 마지막 토큰의 은닉 상태에 추가했습니다.
- 비교: 조향 배수 5, 10, 20 에서 경쟁 축 조향에 대한 '반전률 (flip rate, 출력 변경 비율)'을 무작위 방향 기준선과 비교했습니다.
실험 3: 예측 유용성:
- 지표: 10 층에서 상위 50 개 활성화 특징의 디코더 벡터 간 코사인 유사도의 5 백분위수를 사용하여 프롬프트별 경쟁 점수를 계산했습니다.
- 평가: 이 점수를 답변 정확도 (이진: 출력에 정답이 포함됨) 의 예측자로 테스트하고, 소프트맥스 신뢰도(상위 토큰의 확률) 와 AUROC 를 사용하여 비교했습니다.

주요 결과

1. 불확실성의 국소화

특징 경쟁은 명확한 질문보다 모호한 질문에서 훨씬 강력하게 나타나지만, 이 효과는 네트워크 전반에 걸쳐 균일하지 않습니다.

0 층: 매우 유의미한 차이 ( $p = 5.3 \times 10^{-26}$ ) 로, 불확실성이 초기 인코딩 직후 특징 경쟁으로 나타남을 시사합니다.
12 층: 중간 수준 의미 통합에 해당하는 두 번째 유의미한 피크 ( $p = 5.8 \times 10^{-5}$ ).
다른 층들은 보너페로니 보정 후 유의미한 차이를 보이지 않았습니다.

2. 인과적 영향

경쟁 축을 따라 활성화 조향을 수행하면 모델 출력에 측정 가능한 인과적 영향을 미쳤습니다.

낮은 조향 배수 (5) 에서 경쟁 축 조향은 무작위 조향보다 **20 개의 경쟁 쌍 중 15 개 (75%)**에서 더 높은 출력 반전률을 보였습니다.
평균 반전률 차이는 +0.06 이었습니다 (경쟁: 0.20 대 무작위: 0.14).
이 효과는 교란이 너무 크고 무분별해지던 더 높은 배수 (10 및 20) 에서 감소했습니다.

3. 예측 성능

프롬프트별 경쟁 점수는 불완전하지만 유효한 불확실성 신호로 작용합니다.

정확도 예측을 위한 AUROC: 경쟁 점수는 0.689를 기록하여 무작위 추측 (0.500) 보다 유의미하게 우수했으나, 소프트맥스 신뢰도 (0.808) 에는 미치지 못했습니다.
보정: 두 신호 모두 점수가 높을수록 정확도가 높아지는 단조 증가 추세를 보였습니다.
고유한 가치: 소프트맥스 신뢰도와 달리 경쟁 점수는 출력 샘플링이나 정답 접근 없이 내부 표현만으로 도출됩니다.

중요성과 주장

본 논문은 특징 경쟁이 불확실성의 메커니즘적으로 근거 있는 신호이며, 다음과 같은 세 가지 주요 기여를 제공한다고 주장합니다:

메커니즘적 국소화: 불확실성이 모델의 단일 속성이 아니라 개념 표현 간의 경쟁으로 나타나는 잔여 스트림의 특정 단계 (초기 인코딩 및 중간 수준 의미 통합) 를 식별합니다.
인과적 검증: 경쟁 특징 간의 경쟁이 모델 출력보다 상류에 있음을 인과적 증거로 제시합니다. 경쟁 방향을 따라 조향하면 생성에 직접적인 영향을 미치며, 이는 추론 중 이러한 특징들이 능동적으로 경쟁함을 확인시켜 줍니다.
해석 가능한 불확실성 신호: 내부 특징 경쟁이 출력 분포에 의존하지 않고도 답변 정확도를 예측할 수 있음을 입증합니다. 소프트맥스 신뢰도만큼 정확하지는 않지만, 해석 가능성 (어떤 개념들이 경쟁하는지 식별) 과 단일 통과 시나리오에서의 계산 가능성을 제공합니다.

저자들은 도메인 내 엔트로피 분할이 교차 데이터셋 비교보다 방법론적으로 개선된 것으로, 경쟁 차이를 데이터셋 인공물이 아닌 모델 불확실성으로 귀인되도록 보장한다고 강조합니다. 결론적으로, 경쟁은 짧은 형식의 질문 - 답변에서 원시 예측력 측면에서 소프트맥스 신뢰도를 능가하지는 않지만, 불확실성의 내부 역학에 대한 독특하고 해석 가능한 창을 제공한다고 결론지었습니다.