💬 NLP

Dual Attention Residuals

본 논문은 트랜스포머 모델을 강화하기 위해 반대되는 스트림으로부터 역사적 정보를 동적으로 선택할 수 있는 상호 교차 스트림 상호작용을 가능하게 함으로써, 검증 손실을 개선하고 다양한 모델 스케일에 걸쳐 층별 다양성을 보존하는 새로운 아키텍처인 이중 어텐션 잔차(Dual Attention Residuals, DAR)를 제안한다.

원저자: Xingda Yu, Yining Li, Xinzhang Liu, Zhihao Yang, Haowei He, Chao Wang, Yongxiang Li, Shuangyong Song

게시일 2026-07-22

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Xingda Yu, Yining Li, Xinzhang Liu, Zhihao Yang, Haowei He, Chao Wang, Yongxiang Li, Shuangyong Song

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

로봇에게 이야기를 쓰는 법을 가르치고 있다고 상상해 보세요. 단순히 문장을 하나씩 입력하는 것이 아니라, 로봇이 5분 전이나 5시간 전에 했던 말들을 기억할 수 있도록 그 자체의 이전 생각들이 담긴 거대한 도서관을 통째로 주는 것입니다. 인공지능의 세계에서 이러한 '생각'들은 **잔차 연결(residual connections)**이라고 불립니다. 이것을 정보가 뇌와 같은 여러 층의 깊은 스택을 통과해 이동하는 고속도로라고 생각해 보세요. 보통 로봇은 단 하나의 직선 경로를 통해 새로운 아이디어를 기존의 아이디어에 더하기만 합니다. 하지만 최근 과학자들은 이 고속도로가 너무 경직되어 있다는 사실을 깨달았습니다. 그들은 로봇이 완벽한 정보를 찾기 위해 과거의 특정 순간을 엿볼 수 있게 해주는 역사적 검색(historical retrieval) 시스템을 만들기 시작했습니다. 또한, 로봇이 두 가지 서로 다른 것을 동시에 생각할 수 있도록 고속도로를 두 개의 평행한 차선으로 나누는 멀티 스트림(multi-stream) 시스템도 구축하기 시작했습니다. 여기서 큰 질문은, 만약 로봇이 이 두 가지 아이디어를 동시에 사용하게 한다면 어떻게 될까요? 두 차선이 서로 대화를 나누며 어떤 과거의 순간이 가장 중요한지를 결정할 수 있을까요?

이것이 바로 TeleAI의 연구진이 새로운 논문인 **Dual Attention Residuals (DAR)**를 통해 탐구한 내용입니다. 그들은 단순히 두 개의 차선을 갖는 것만으로는 충분하지 않으며, 차선들이 서로 "사교적"이어야 한다는 것을 발견했습니다. 새로운 시스템인 DAR에서 로봇은 무엇을 기억할지 결정하기 위해 단순히 자신의 과거만을 들여다보는 것이 아닙니다. 대신, 자신의 "쌍둥이" 차선에게 조언을 구합니다. 만약 A 차선이 무언가를 기억하려고 노력 중이라면, B 차선의 현재 기분을 살펴보고 어떤 부분이 파헤칠 가치가 있는지를 결정합니다. 이는 마치 두 친구가 시험 공부를 하는 것과 같습니다. 자신의 노트를 그냥 뒤적거리는 대신, 친구에게 "야, 교과서의 어느 부분이 지금 제일 중요하다고 생각해?"라고 물어본 다음, 그 질문에 맞춰 자신의 책에서 특정 페이지를 찾아보는 것과 같습니다.

논문에 따르면 이러한 "교차 대화(cross-talk)"는 AI를 현저히 더 똑똑하게 만듭니다. 연구진이 0.1 tỷ(0.1 bilyon) 개의 파라미터를 가진 작은 모델부터 70억(7 billion) 개의 파라미터를 가진 거대 모델에 이르기까지 다양한 모델로 DAR를 테스트했을 때, DAR는 표준 방식들보다 일관되게 실수를 적게 범했습니다. 연구진은 두 차선이 단순히 동일한 정보를 반복하는 것이 아니라, "분업"을 형성한다는 것을 발견했습니다. 한 차선이 문장의 시작 부분을 기억하는 데 집중한다면, 다른 차선은 중간 부분에 집중하며, 서로가 적절한 세부 사항을 검색할 수 있도록 돕는 식입니다.

결정적으로, 연구진은 이것이 단순한 눈속임이 아님을 확실히 했습니다. 그들은 개선된 결과가 단순히 더 많은 데이터를 가졌거나 노트에 화려한 필터를 추가했기 때문이 아니라는 것을 증명하기 위해 실험을 진행했습니다. 만약 두 차선이 서로 대화하지 않는다면(그들이 "SelfKV"라고 부른 설정), 시스템의 균형이 깨져 한 차선이 모든 일을 수행하고 다른 차선은 놀게 된다는 것을 보여주었습니다. 하지만 DAR의 상호적인 대화 덕분에 두 차선 모두 활발하고 유용하게 유지되었습니다. 그 결과, AI가 과거를 기억하는 방식이 더욱 효율적이고 다양하며 정확해졌으며, 때로는 앞으로 나아가는 가장 좋은 방법이 파트너에게 어디를 되돌아봐야 할지 묻는 것임을 입증했습니다.

기술 요약: 이중 어텐션 잔차 (Dual Attention Residuals, DAR)

문제 정의

최근 트랜스포머 아키텍처의 발전은 **역사적 검색(historical retrieval)**과 **다중 스트림 잔차(multi-stream residuals)**라는 두 가지 상보적인 축을 따라 잔차 경로를 확장해 왔습니다.

역사적 검색: Transparent Attention, DenseFormer, Attention Residuals (AttnRes)와 같은 방법들은 후속 레이어가 이전 깊이의 표현(representation)에 접근할 수 있도록 합니다. 표준 단일 스트림 검색에서는, 깊이 가중치를 결정하는 표현(즉, "주소")과 검색되는 내용("값")이 동일한 잔차 궤적에서 기인합니다. 이는 선택 메커니즘이 단일 스트림의 상태에 의해 제약되는 "주소-내용 결합(address-content coupling)" 현상을 만듭니다.
다중 스트림 잔차: Hyper-Connections 및 mHC와 같은 방법들은 정보를 운송하고 혼합하기 위해 학습된 여러 궤적(스트림)으로 경로를 확장합니다.

이러한 접근 방식들은 각각 독립적으로 연구되었으나, 이를 단순하게 결합하여 각 스트림에 독립적인 역사적 검색기를 장착하는 것은 스트림 간의 상호작용을 활용하지 못합니다. 이러한 설정에서는 각 궤적이 다른 스트림의 영향을 받지 않고 스스로의 깊이를 결정하므로, 한 스트림의 보완적인 신호가 다른 스트림의 검색을 가이드할 수 없습니다. 본 논문이 다루는 핵심 문제는 이 두 가지 자유도(깊이 선택과 궤적 유지)가 표현의 다양성과 검색 효율성을 개선하기 위해 어떻게 생산적으로 상호작용할 수 있는가 하는 점입니다.

방법론: 이중 어텐션 잔차 (DAR)

저자들은 **이중 교차 스트림 주소 지정(reciprocal cross-stream addressing)**을 통해 다중 스트림 상호작용을 깊이별 역사적 검색에 통합하는 메커니즘인 **이중 어텐션 잔차 (DAR)**를 제안합니다.

핵심 메커니즘

DAR는 각 트랜스포머 브랜치의 내부 연산(어텐션 또는 피드포워드)을 변경하지 않고, 각 브랜치 주변의 잔차 경로를 수정합니다. 두 개의 스트림( $j \in \{0, 1\}$ )이 있는 시스템의 경우:

상호 교차 키-값 라우팅 (Reciprocal Key-Value Routing): 대상 스트림 $j$ $j$ 에 대해, 깊이 가중치는 반대 스트림( $1-j$ $1 - j$ )에서 유도된 **키(keys)**를 사용하여 계산되는 반면, **값(values)**은 대상 스트림 자신의 역사( $j$ $j$ )에서 검색됩니다.
- $k^j_r = \text{Norm}(H^{1-j}_r)$ (반대 스트림으로부터의 키)
- $v^j_r = H^j_r$ (자기 스트림으로부터의 값)
- 이를 통해 대상 스트림의 자체 표현이 쿼리와 강하게 일치하지 않더라도, 반대 스트림이 깊이 선택을 위한 보완적인 신호를 제공할 수 있게 합니다.
상태 혼합 및 게이트형 쓰기 (State Mixing and Gated Writes): 검색된 양쪽 스트로의 상태는 혼합되어 변경되지 않은 트랜스포머 브랜치의 입력이 됩니다. 그 후 브랜치의 출력은 **게이트형 쓰기(gated writes)**와 **제한적 혼합(constrained mixing)**을 통해 두 잔차 궤적을 업데이트하는 데 사용됩니다.
- 게이팅 메커니즘( $\alpha$ )이 검색된 상태들을 혼합합니다.
- 전송 메커니즘( $\rho$ )과 쓰기 게이트( $\beta$ )가 부분 블록 상태를 업데이트하여, 블록 내에서 기존의 부분 상태가 안정적으로 운송되도록 보장합니다.

변체 (Variants)

Full DAR: 모든 트랜스포머 레이어가 검색 가능한 역사에 완성된 엔트리를 기여하는 레이어 단위( $K=1$ )로 작동합니다.
Block DAR: 레이어를 $K$ 크기의 블록으로 분할합니다. 완성된 블록 역사로부터 검색하며, 선택적으로 현재의 부분 블록 상태를 후보로 포함합니다. 이는 더 거친 깊이 입도(granularity)에서 작동함으로써 오버헤드를 줄입니다.

설계 비교

본 논문은 교차 스트림 상호작전의 기여도를 격리하기 위해 몇 가지 라우팅 변체를 평가합니다:

DAR-SelfKV: 키와 값이 모두 동일한 스트림에서 옵니다 (스트림당 표준 단일 스트림 검색).
DAR-CrossV: 키는 자기 스트림에서, 값은 반대 스트림에서 옵니다.
DAR-FixedKV: 고정된 할당 (스트림 0의 키, 스트림 1의 값을 양쪽 모두에 사용).
DAR (제안된 방식): 상호 교차 스트림 키와 자기 스트림 값을 사용하는 방식.

주요 기여

궤적의 상호작용: 본 논문은 독립적으로 진화하는 잔차 궤적이 단순히 병렬적인 정보 경로로서뿐만 아니라, 역사적 깊이를 선택하기 위한 보완적인 신호로서 기능할 수 있음을 입증합니다.
DAR 아키텍처: 트랜스포머 브랜치를 변경하지 않으면서 상호 교차 스트림 키와 자기 스트림 값을 통해 이러한 상호작용을 구현하는 메커니즘을 제안합니다.
실증적 검증: 0.1B에서 1B 파라미터 규모의 밀집(dense) 모델과 7B 희소-MoE(sparse-MoE) 모델에 걸친 포괄적인 실험을 통해, 표준 잔차 및 Attention Residuals보다 일관된 개선을 보여줍니다.
중복성 분석: 표현 기하학(CKA) 및 개입 분석을 통해, DAR가 깊이별 다양성을 보존하고 대안적인 이중 스트림 설계에서 관찰되는 기능적 불균형이나 중복성을 피한다는 것을 보여줍니다.

실험 결과

저자들은 DAR를 표준 잔차 연결, Attention Residuals (AttnRes), 그리고 mHC와 동일한 훈련 예산 하에서 평가했습니다.

검증 손실 (Validation Loss): DAR는 일관되게 가장 낮은 검증 손실을 달치했습니다.
- 1B 밀집(dense) 설정에서, DAR-Block은 잔차 베이스라인과 AttnRes-Block 모두보다 우수한 성능을 보였습니다.
- 7B 희소-MoE 설정에서, DAR는 훈련 과정 내내 베이스라인보다 낮은 손실을 유지하며 가장 낮은 손실을 달성했습니다.
- 0.1B, 0.3B, 0.5B 밀집 모델 전반에서, DAR 변체들은 잔차 베이스라인 대비 검증 손실을 2.03%에서 5.12%까지 감소시켰습니다.
효율성: DAR는 표준 잔차보다 높은 계산 비용을 발생시키지만 (교차 스트림 검색 및 게이팅으로 인해 7B MoE에서 약 17.5%의 처리량 감소 발생), AttnRes와 경쟁할 만한 수준을 유지합니다. 메모리 오버헤드는 주로 역사적 검색 메커니즘 자체에 의해 발생하며, 교차 스트림 라우팅이 추가하는 비용은 측정 가능한 수준이지만 상대적으로 작습니다.
절제 연구 (Ablation Studies):
- 라우팅: 이 이득은 추가적인 값 투영(SepV)이나 단순한 교차 스트림 값 집계 때문이 아닙니다. 특정 상호 교차 스트림 키 / 자기 스트림 값 라우팅(DAR)이 가장 좋은 성능을 냈습니다.
- 중복성: Cross-Stream Linear CKA 분석 결과, DAR는 매칭되지 않는 깊이 간의 낮은 유사성을 유지하여 뚜렷한 궤적을 가짐을 보여주었습니다. 반면, DAR-SelfKV 및 mHC-2와 같은 변체들은 광범위한 높은 유사성 영역을 보여 중복성을 시사했습니다.
- 개입 (Intervention): "구조(Rescue) 이득" 분석 결과, DAR에서는 한쪽 스트림을 유지하는 것만으로도 깨끗한 출력을 훨씬 더 잘 복구할 수 있었습니다. 반면, 다른 변체들(예: DAR-SelfKV)은 한쪽 스트림이 기능적으로 지배적이 되어 다른 쪽은 활용되지 못하는 강한 비대칭성을 보였습니다.

의의 및 주장

본 논문은 DAR가 다중 스트림의 유연성을 깊이별 검색으로 성공적으로 가져왔다고 주장합니다. 하나의 궤적이 다른 궤적의 깊이 선택에 영향을 미치게 함으로써, DAR는 단일 스트림 검색기가 놓칠 수 있는 역사적 컨텍스트에 접근할 수 있게 합니다.

저자들은 성능 향상이 단순히 추가적인 스트림이나 값 투영의 존재 때문이 아니라, 구체적으로 상호 교차 스트림 선택 메커니즘 덕분임을 강조합니다. 이 설계는 깊이별 다양성을 보존하며, 대안적인 이중 스트림 설계에서 흔히 발생하는 한쪽 스트림이 다른 쪽을 압도하는 기능적 불균형을 방지합니다. 이 연구는 역사적 검색과 다중 스트림 토폴로지가 서로 배타적인 것이 아니라, 트랜스포머 표현 학습을 개선하기 위해 시너지 효과를 낼 수 있는 조합임을 시사합니다.