🤖 machine learning

Attention Sinks and Outliers in Attention Residuals

본 논문은 AttnResidual 아키텍처에서 어텐션 싱크와 활성화 아웃라이어를 완화하기 위해 레이어 간 널 신호를 활용하는 새로운 기법인 OASIS를 소개함으로써 추론 안정성, 양자화 강건성 및 하류 작업 성능을 크게 향상시킨다고 제시한다.

원저자: Haozheng Luo, Haoran Dai, Shaoyang Zhang, Xi Chen, Eric Hanchen Jiang, Yijiang Li, Jingyuan Huang, Chenghao Qiu, Chenwei Xu, Zhenyu Pan, Haotian Zhang, Binghui Wang, Yan Chen

게시일 2026-05-19

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Haozheng Luo, Haoran Dai, Shaoyang Zhang, Xi Chen, Eric Hanchen Jiang, Yijiang Li, Jingyuan Huang, Chenghao Qiu, Chenwei Xu, Zhenyu Pan, Haotian Zhang, Binghui Wang, Yan Chen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대하고 초지능적인 도서관(인공지능 모델)을 상상해 보세요. 수천 명의 사서(레이어)들이 협력하여 사용자의 질문에 답합니다. 이 도서관들은 더 나아지기 위해 AttnResidual이라는 새로운 시스템을 도입했습니다. 이 시스템은 사서들이 단순히 책을 읽는 것을 넘어, 도서관의 서로 다른 층 사이에서 메모를 주고받으며 답변을 정제할 수 있게 합니다.

그러나 이 논문의 저자들은 이 새로운 시스템에 결함이 있음을 발견했습니다. 이로 인해 두 가지 주요 문제가 발생했습니다:

**"사이렌" 효과 (Attention Sinks): ** 구식 시스템에서는 선반의 첫 번째 책 (첫 번째 토큰) 이 모든 관심을 끌어 다른 모든 것을 압도했습니다. 새로운 시스템에서는 이 문제가 더 악화되었습니다. 사서들이 그 첫 번째 책에만 너무 집중하여 나머지 이야기에는 더 이상 귀를 기울이지 않게 된 것입니다.
**"큰 외침" 문제 (Outliers): ** 때때로 한 사서가 너무 흥분하거나 혼란스러워져서 (이상치를 생성하여) 매우 크게 외치는데, 이는 메모리를 저장하는 섬세한 장비 (양자화) 를 파괴할 정도로 큽니다. 이로 인해 도서관은 메모리를 압축하려 할 때 취약해지고 충돌하기 쉬워졌습니다.

이 논문은 새로운 시스템이 사서들이 실제 책과 실제 층 사이에서만 주의를 분배하도록 강요함으로써 이러한 문제를 악화시켰다고 주장합니다. "여기에 추가할 새로운 것이 없다"고 말하고 싶을 때, 그들은 그 "아무것도 없음"을 실제 책에 강제로 넣어야 했으며, 이로 인해 숫자가 기이하게 커지고 불안정해졌습니다.

해결책: OASIS ("침묵의 휴식" 버튼)

저자들은 OASIS라는 해결책을 제안합니다. OASIS는 도서관 시스템에 특별한 "침묵의 휴식" 버튼을 추가하는 것과 같습니다.

간단한 비유로 작동 방식을 설명하면 다음과 같습니다:

"널 (Null)" 채널 (휴게실): "아무것도 없다!"라고 실제 책에 외치도록 강요하는 것 (이는 큰 외침 문제를 유발함) 대신, OASIS는 사서들에게 전용 휴게실을 제공합니다. 사서에게 추가할 유용한 것이 없다면, 그들은 단순히 휴게실로 들어가면 됩니다. 이렇게 하면 실제 책들은 조용히 유지되고 숫자는 안정적으로 유지됩니다.
**"팀 리더" 신호 (토큰 - 깊이 결합): ** 구식 시스템에서는 층 관리자들 (깊이 라우팅) 이 특정 사서가 단순히 휴식을 취하고 있는지 알지 못했습니다. OASIS는 "이 팀 전체가 현재 휴게실에 있습니다"라는 신호를 추가합니다. 층 관리자는 이제 해당 팀에 작업을 보내는 것을 멈추고 실제로 일하고 있는 팀에 집중할 수 있게 됩니다.

논문에서 발견한 점

연구진은 이 새로운 "휴게실" 시스템을 두 가지 인기 있는 도서관 모델 (Llama 와 Qwen) 에서 테스트한 결과 다음과 같은 사실을 발견했습니다:

조용해진 사서들: "외치는" 숫자 (이상치) 가 약 84% 감소했습니다. 도서관은 훨씬 더 차분해졌습니다.
집착 감소: 사서들이 첫 번째 책에 집착하는 것이 멈췄습니다. "사이렌" 효과가 크게 감소했습니다.
강화된 장비: 숫자가 더 차분해졌기 때문에 도서관의 메모리를 더 강하게 압축 (파일 압축과 유사) 할 수 있게 되어 파괴되지 않았습니다.
- 메모리를 강력하게 압축 (4 비트까지) 했을 때, 수학 문제 해결 능력 (GSM8K) 은 구식 시스템에 비해 23% 실제로 향상되었습니다.
- 중간 압축 (8 비트) 을 사용했을 때, 도서관의 실수 (퍼플렉시티) 는 약 73% 감소했습니다.

결론

이 논문은 AI 에게 "아무것도 없음"을 넣을 수 있는 특정 장소 (널 채널) 를 제공하고, 시스템의 일부가 아무것도 하지 않을 때 시스템이 이를 알 수 있게 함으로써, AI 가 혼란을 겪거나 외치거나 첫 번째 단어에 집착하는 것을 막을 수 있다고 주장합니다. 이는 AI 를 더 안정적으로 만들고, 휴대폰이나 작은 컴퓨터용으로 축소하기 쉽게 하며, 어려운 문제를 더 잘 해결할 수 있게 합니다. 또한 전체 도서관을 처음부터 다시 훈련시킬 필요는 없습니다.

기술 요약: OASIS – AttnResidual 아키텍처를 위한 이상치 및 싱크 인식 라우팅

문제 제기
본 논문은 토큰 수준과 깊이 수준의 어텐션 라우팅을 모두 지배하는 이중 정규화 체계를 도입하여 표준 단일 수준 Softmax 정규화를 대체한 최신 설계인 AttnResidual 아키텍처에서 발생하는 중대한 안정성 및 견고성 문제를 다룹니다. AttnResidual 은 표현력을 향상시키지만, 저자들은 구조적 결함 모드를 확인했습니다. 즉, 이중 정규화 설계가 **어텐션 싱크 (attention sinks)**와 **활성화 이상치 (activation outliers)**를 악화시킵니다.

표준 트랜스포머에서 어텐션 싱크 (예: <|begin_of_text|> 토큰) 는 표현력을 안정화시키기 위해 확률 질량을 축적합니다. 그러나 AttnResidual 에서는 깊이 라우팅에 대한 추가적인 심플렉스 제약이 "노 - 오프 (no - op, 정체)" 업데이트를 명시적인 널 (null) 채널이 아닌 실제 토큰과 실제 깊이 분기를 통해 표현하도록 강제합니다. 이 제약은 정체 업데이트를 근사하기 위해 극단적인 Softmax 전 로그이트 (pre - Softmax logits) 를 필요로 하여, 다음과 같은 결과를 초래합니다:

강화된 어텐션 싱크: 초기 토큰에 대한 집중이 심화됩니다.
증폭된 활성화 이상치: 은닉 상태는 heavy - tailed 분포 (높은 첨도) 와 큰 무한 노름을 보입니다.
양자화 취약성: 이러한 이상치는 추론 안정성을 저하시키고 저비트 양자화 (예: W4A4, W8A8) 를 훨씬 덜 견고하게 만듭니다.
깊이 붕괴 (Depth Collapse): 라우팅 가중치가 단일 지배적 분기로 붕괴되어, 아키텍처가 바닐라와 유사한 잔차 동작으로 사실상 퇴화합니다.

방법론: OASIS
저자들은 OASIS(Inter - layer Null Signaling 을 통한 이상치 및 싱크 인식 라우팅) 를 제안합니다. 이는 훈련 목적 함수나 핵심 아키텍처 골격을 변경하지 않고 정규화 계층을 수정하는 경량 개입입니다. OASIS 는 두 가지 측면에서 작동합니다:

널 인식 라우팅 (Softmax1):
이 방법은 토큰 수준과 깊이 수준 모두의 표준 Softmax 연산자를 Softmax1로 대체합니다. 이 함수는 정규화 분모에 명시적인 **널 상태 (null state, $\emptyset$ 로 표기)**를 도입합니다.
- 토큰 수준: 어텐션 질량이 실제 토큰에 강제로 할당되는 대신 "널" 상태로 라우팅되도록 허용합니다.
- 깊이 수준: 깊이 라우팅 가중치가 특정 깊이 분기에 질량이 집중되는 것을 방지하기 위해 널 계층을 통해 "노 - 오프" 압력을 흡수하도록 허용합니다.
- 메커니즘: 비정보적 질량을 실제 토큰/분기 간의 경쟁에서 분리함으로써 Softmax1 은 극단적인 로그이트 증폭 필요성을 줄입니다.
토큰 - 대 - 깊이 널 결합:
표준 Softmax1 에서 토큰 수준과 깊이 수준 라우팅이 여전히 분리되어 있음을 인식하여, OASIS 는 결합 메커니즘을 도입합니다. 이는 각 소스 분기에 대해 어텐션 헤드를 통해 널 상태로 라우팅된 토큰 수준의 널 증거 (확률 질량) 를 스칼라 통계량으로 집계한 후, 이를 깊이 라우팅 로그이트에 주입합니다.
- 효과: 높은 "노 - 오프" 동작 (높은 널 질량) 을 보이는 분기는 깊이 라우팅에서 가중치가 낮아지고, 정보성 있는 분기는 가중치가 높아집니다. 이는 깊이 라우터가 비정보적 계층에 중요한 가중치를 할당하는 것을 방지합니다.

주요 기여

구조적 결함 식별: 본 논문은 AttnResidual 의 이중 정규화 설계가 근사 정체 업데이트를 위한 명시적 널 경로가 부재하기 때문에 구조적으로 이상치와 싱크를 증폭시킨다고 공식적으로 규명했습니다.
이론적 분석: 저자들은 다음을 입증하는 이론적 증명 (Lemma 5.1, 5.2; Theorem 5.1, 5.2) 을 제공합니다:
- 널 채널이 없으면 근사 노 - 오프 제약이 어텐션 질량을 기여도가 낮은 토큰으로 강제하여 이상치를 생성합니다.
- 이중 정규화는 라우팅이 최소 업데이트 분기에 집중되는 깊이 붕괴를 초래합니다.
- Softmax1 은 노 - 오프 동작을 실제 토큰 할당에서 분리하는 실현 가능한 널 경로를 도입하여 구조적 압력을 이론적으로 감소시킵니다.
OASIS 프레임워크: 이러한 병리 현상을 완화하는 실용적이고 최소한의 수정 (Softmax 를 Softmax1 으로 교체하고 결합 항을 추가함) 입니다.

실험 결과
저자들은 세 가지 실제 데이터셋 (BookCorpus, Wiki40B, WikiText - 2, GSM8K) 에서 Llama - 3.2 - 1B와 Qwen3 - 0.6B백본을 사용하여 OASIS 를 평가했습니다.

이상치 억제: 바닐라 AttnResidual 기준 대비 OASIS 는 최대 무한 노름에서 평균 84.14% 감소, 평균 첨도에서 96.77% 감소를 달성했습니다.
양자화 견고성:
- W8A8 양자화 하에서 OASIS 는 바닐라 대비 퍼플렉시티를 73.55% 낮췄습니다.
- W4A4 양자화 하에서 OASIS 는 GSM8K Pass@1 정확도를 23.47% 향상시켰습니다.
어텐션 싱크 완화: 어텐션 맵의 정성적 분석 결과, OASIS 는 지배적인 첫 번째 토큰 싱크에서 어텐션을 효과적으로 재분배하여, 바닐라 및 중간 기준 (AoS 또는 OutEffHop 등) 과 비교하여 더 매끄럽고 더 국소적인 인과적 어텐션 패턴을 생성했습니다.
비교: OASIS 는 공격적인 양자화 하에서 이상치 지표와 하류 작업 성능 모두에서 Clip Attention, Gated Attention, OutEffHop, 희소 정규화기 (Sparsemax, Entmax15) 를 포함한 기준 모델들을 일관되게 능가했습니다.

의의 및 주장
본 논문은 OASIS 가 이중 정규화 아키텍처의 견고성 한계에 대한 원칙적인 해결책을 제공한다고 주장합니다. 명시적 널 용량을 도입함으로써 이 방법은 잔차 라우팅을 안정화시켜, 모델이 어텐션 싱크와 활성화 이상치로 인해 일반적으로 발생하는 저하 없이 공격적인 압축 (저비트 양자화) 과 긴 컨텍스트 추론을 처리할 수 있게 합니다. 저자들은 이러한 개선이 훈련 목적 함수를 변경하지 않고 달성되었으며, 명시적 널 라우팅이 복잡한 잔차 아키텍처를 안정화시키는 근본적인 메커니즘임을 강조합니다.

한계점
저자들은 현재 평가가 특정 백본 모델 (1B 및 0.6B 파라미터) 로 제한되어 있으며, 더 큰 모델에 대한 광범위한 검증이 필요하다고 지적합니다. 또한 과도한 널 할당이 유용한 약한 신호를 억제하거나 어텐션 맵의 해석 가능성을 변경할 수 있음을 경고하며, 널 강도의 적응형 제어에 대한 향후 연구를 제안합니다.

해결책: OASIS ("침묵의 휴식" 버튼)

논문에서 발견한 점

결론

유사한 논문