🤖 AI

Residual Dominance as a Structural Account of Last-Item Reliance in Causal Self-Attention Recommenders

이 논문은 트랜스포머 기반 순차적 추천 시스템에서 마지막 아이템에 대한 과도한 의존성이, 노름 기반 분석과 제어된 잔차 스케일링 개입을 통해 확인된 현상인 잔차 연결이 셀프 어텐션의 문맥적 집합을 압도하는 '잔차 지배(residual dominance)'에 의해 구조적으로 발생함을 밝히고 있다.

원저자: Keito Kozaki, Keigo Sakurai, Ren Togo, Takahiro Ogawa, Miki Haseyama

게시일 2026-08-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Keito Kozaki, Keigo Sakurai, Ren Togo, Takahiro Ogawa, Miki Haseyama

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 미스터리를 풀려는 탐정이라고 상상해 보세요: 컴퓨터가 당신이 다음에 무엇을 사고 싶어 하는지, 혹은 무엇을 보고 싶어 하는지 어떻게 결정할까요? 이 분야를 **순차적 추천(sequential recommendation)**이라고 부릅니다. 아주 세심한 사서가 당신이 빌려 갔던 모든 책을 기억하고 있는 모습을 떠올려 보세요. 사서의 임무는 당신이 다음에 집어 들 '바로 그 다음' 책을 추측하는 것입니다. 이를 위해 사서는 당신의 기록을 하나의 타임라인, 즉 당신의 독서 인생의 연대기처럼 보고 활용합니다.

오랫동안 가장 똑똑한 사서들은 **인과적 셀프 어텐션(causal self-attention)**이라는 특별한 도구를 사용해 왔습니다. 이 도구는 마법의 스포트라이트라고 생각하면 됩니다. 사서가 당신의 기록을 살펴볼 때, 이 스포트라이트는 과거의 여러 책 중 어떤 것이 당신의 다음 움직임을 예측하는 데 가장 중요한지를 보기 위해 서로 다른 책들을 비춥니다. 보통 우리는 이 스포트라이트가 전체 타임라인을 훑으며, 과거의 즐거움과 현재의 즐거움 사이에서 완벽한 균형을 찾기 위해 무게를 조절한다고 가정합니다. 하지만 여기 반전이 있습니다. 만약 이 스포트라이트가 불균형하게 집중하고 있다면 어떨까요? 만약 모델이 과거와 현재의 균형을 맞추는 대신, 단지 마지막으로 손을 댄 바로 그 책에만 강렬하게 시선을 고정하고 있다면 어떨까요? 이 논문은 바로 그 질문, 즉 컴퓨터가 단순히 마지막 아이템에 너무 의존하는 것인지, 아니면 그 기계의 뇌가 정확히 그렇게 하도록 어떻게 설계되어 있는지에 대한 질문을 파고듭니다.

"마지막 아이템" 집착의 미스터리

이 논문의 저자인 홋카이도 대학교 연구팀은 SASRec과 같은 현대적 추천 시스템에서 발견되는 이상한 습관을 조사하기로 했습니다. 그들은 이러한 시스템이 마치 당신이 방금 한 말만 기억하는 건망증 있는 친구처럼 행동한다는 점을 발견했습니다. 만약 당신이 "나는 액션 영화를 좋아했고, 그다음엔 코미디를 봤고, 그다음엔 SF를 봤어"라고 말한다면, 그들은 액션과 코미디는 완전히 무시하고 방금 언급한 마지막 내용인 SF 영화를 추천할 수도 있습니다.

연구진은 알고 싶었습니다. 이것이 단순히 모델이 학습되는 방식의 특이한 현상인지, 아니면 기계의 아키텍처(구조) 자체에 내장된 것인지 말입니다. 그들은 단순히 "이봐, 모델이 이렇게 행동해"라고 말하는 데 그치지 않았습니다. 그들은 엔진 덮개를 열고 내부의 톱니바퀴가 어떻게 돌아가는지 확인하여, 왜 기계가 이렇게 행동하는지 그 이유를 이해하고자 했습니다.

마법의 스포트링트 vs. 무거운 배낭

이 미스터리를 해결하기 위해 연구팀은 "인과적 셀프 어텐션" 모델의 내부를 들여다보았습니다. 그들은 **노름 기반 분석(norm-based analysis)**이라는 영리한 기술을 사용했습니다. 모델의 뇌를 재료(당신의 과거 상호작용)가 섞이는 주방이라고 상상해 보세요.

어텐션 단계(The Attention Step): 먼저, 모델은 재료를 섞기 위해 "스포트라이트"(어텐션)를 사용합니다. 액션 영화를 조금, 코미디를 조금, 그리고 SF를 많이 가져와서 이들을 부드러운 수프로 블렌딩합니다. 이 단계에서 수프는 실제로 모든 것의 맛이 섞인 상태입니다.
레지듀얼 단계(The Residual Step): 그다음, 놀라운 일이 일어납니다. 모델은 "레지듀얼 연결(residual connection)"을 추가합니다. 이것을 모델이 반드시 메고 있어야 하는 무거운 배낭이라고 생각해 보세요. 이 배낭에는 섞이지 않은 원래의 재료들이 가득 차 있습니다. 모델이 이 배낭을 수프에 더할 때, 섞이지 않은 원래의 재료들이 갑자기 지배적인 맛을 냅니다.

저자들은 이 현상을 **레지듀얼 도미넌스(Residual Dominance, 잔차 지배)**라고 부릅니다. 이것은 마치 과일 샐러드를 만들려고 하는데, 새로운 과일을 넣을 때마다 원래의 손질되지 않은 과일 한 양동이를 통째로 다시 쏟아부어야 하는 것과 같습니다. 결과는 어떨까요? 그 그릇은 결국 당신이 방금 넣은 특정 과일의 맛이 대부분이 될 것입니다. 왜냐하면 그 특정 과일의 "양동이"가 너무 무거워서 다른 모든 것들의 섬세한 혼합을 압도해 버리기 때문입니다.

"마지막 아이템"의 함정

이러한 추천 모델들은 시퀀스의 맨 마지막 아이템(최종 위치)만을 바탕으로 최종 예측을 하기 때문에, 이 "무거운 배낭" 효과는 함정을 만듭니다. 모델의 최종 예측은 본질적으로 화려한 코트를 입었을 뿐인, 당신이 마지막으로 상호작용한 아이템 그 자체입니다. 당신의 나머지 기록(액션 영화, 코미디 등)에서 온 정보는 마지막 아이템의 엄청난 무게에 의해 휩쓸려 사라집니다.

논문은 이것이 학습 과정에서의 실수가 아니라 구조적인 특징임을 보여줍니다. 아키텍처 자체가 현재 위치의 "자아(self)"를 너무 강력하게 보존하도록 설계되어 있어서, 과거로부터 오는 문맥(context)을 밀어내 버리는 것입니다.

이론 검증: 다이얼을 낮추기

이것이 단순한 이론이 아님을 증명하기 위해, 연구진은 "만약 ~라면 어떨까?"라는 게임을 진행했습니다. 그들은 컴퓨터가 예측을 수행하는 순간(추론 시간)에 제어 노브(control knob)를 도입했습니다. 이 노브는 그 "배낭"이 얼마나 무거운지를 조절합니다.

노브를 낮추면 (레지듀얼 강도 감소): 그들은 배낭을 더 가볍게 만들었습니다.
결과: 갑자기 모델이 다시 나머지 기록의 소리에 귀를 기울이기 시작했습니다! "수프"의 혼합 과정이 개선되었습니다.

여기서 가장 흥ac한 부분은 이것입니다. 노브를 낮추었을 때, 모델은 단순히 혼란에 빠진 것이 아니라 특정 사례에서 오히려 더 똑똑해졌습니다! 연구진은 표준적인 무거운 배낭을 사용할 때 모델이 놓쳤던 많은 아이템에 대해, 시퀀스 초반의 "수프"(예를 들어 마지막 직전의 아이템) 안에 정답이 숨겨져 있었다는 것을 발견했습니다. 마지막 아이템의 짐을 가볍게 함으로써, 모델은 이전의 올바른 신호들을 "들을" 수 있었고 실수를 바로잡을 수 있었습니다.

이것이 당신에게 의미하는 바

이 논문은 마지막 아이템에 대한 극단적인 의존이 단순한 무작위 오류가 아니라, 모델이 자신의 "자아"를 온전히 유지하도록 설계된 방식의 직접적인 결과임을 시사합니다. "레지듀얼 도미넌스"는 컴퓨터가 단기 기억만을 가진 것처럼 보이는 구조적인 이유입니다.

하지만 저자들은 이것을 해결된 문제나 마법 같은 해결책이라고 부르는 데 주의를 기울입니다. 그들은 이 노브를 조절하여 놓친 예측들을 일부 회복할 수는 있지만, 이는 트레이드오프(trade-off, 절충 관계)를 만든다는 점을 보여줍니다. 만약 배낭을 너무 가볍게 만들면, 모델은 가장 최근의 중요한 신호에 집중하는 능력을 잃을 수도 있습니다. 이는 과거를 기억하는 것과 현재에 집중하는 것 사이의 균형 잡기입니다.

결국, 이 연구는 우리가 AI를 바라보는 새로운 방식을 제시합니다. 단순히 데이터나 학습을 탓하는 대신, 우리는 아키텍처 자체를 들여다볼 수 있습니다. 때로는 기계가 자신의 "자아"를 기억하기 위해 만들어진 방식이, 역설적으로 다른 모든 것을 잊게 만드는 원인이 된다는 사실이 밝혀졌습니다.

기술 요약: 인과적 셀프 어텐션 추천 시스템에서의 마지막 아이템 의존성에 대한 구조적 설명으로서의 잔차 지배성 (Residual Dominance)

문제 정의

트랜스포머 기반 순차 추천 모델, 특히 인과적 셀프 어텐션(예: SASRec)을 사용하는 모델은 사용자의 다음 상호작용을 예측하는 데 있어 지배적인 패러다임이 되었습니다. 이러한 모델들은 경험적으로 효과적이지만, 최근의 진단 결과들은 이들이 종종 "마지막 아이템 의존성(last-item reliance)"을 보인다는 점을 지적합니다. 즉, 예측이 입력 시퀀스의 가장 최근 상호작용에 불균형적으로 고착되는 현상입니다.

기존의 설명들(예: 최신성 편향 또는 어텐션 가중치 패턴)은 주로 기술적인 수준에 머물러 있습니다. 본 연구는 이러한 의존성이 추론 시점에 모델의 내부 표현 내에서 어떻게 구조적으로 표현되는지를 이해하는 데 중요한 격차가 존재함을 밝힙니다. 구체적으로, 마지막 아이템의 지배력이 오직 어텐션 가중치로부터만 발생하는 것인지, 아니면 잔차 연결(residual connections)과 같은 다른 아키텍처 구성 요소가 최종 예측 표현을 형성하는 데 결정적인 역할을 하는지 여부가 불분명합니다.

방법론

저자들은 다양한 데이터셋(희소한 데이터부터 밀집된 데이터, 그리고 다양한 순차적 특성을 가진 데이터까지 총 9개)에 걸쳐 예측 시점 진단과 노름 기반(norm-based) 구조 분석을 결합한 다각적인 접근 방식을 채택했습니다.

1. 경험적 특성화

연구는 먼저 두 가지 상호 보완적인 진단 도구를 사용하여 마지막 아이템 의존성의 존재를 검증합니다.

추론 시점 위치 셔플링(Inference-Time Position Shuffling): 저자들은 마지막 아이템만 유지하고 나머지는 셔플링하거나, 전체 시퀀스를 셔플링하는 방식으로 입력을 섭동(perturb)합니다. 결과에 따르면, 마지막 아이템만을 보존했을 때 전체를 셔플링했을 때보다 성능 저하가 훨씬 적게 나타났으며, 이는 마지막 위치가 불연속적인 특권을 누리고 있음을 나타냅니다.
마지막 아이템 히트율(Hit Rate of the Last Item, HRLI): 마지막으로 상호작용한 아이템이 Top-K 추천 리스트에 등장하는 빈도를 측정하는 지표입니다. 인과적 셀프 어텐션 모델(SASRec, DuoRec, BSARec)은 HRL2I@1(두 번째 마지막 아이템의 히트율)에 비해 높은 HRLI@1을 보였으며, 이는 매우 국소적인 랭킹 경향성을 확인시켜 줍니다.

2. 구조적 분석: 노름 기반 분해 (Norm-Based Decomposition)

기술적인 지표를 넘어, 저자들은 노름 기반 분해를 사용하여 전체 어텐션 블록(어텐션, 잔차 연결, 레이어 정규화 포함)을 분석합니다.

믹싱 비율 ( $r_i$ ): 서로 다른 입력 위치가 출력 표현에 기여하는 정도를 정량화합니다. 믹싱 비율은 출력 노름(norm) 중 다른 위치로부터 유래된 비율(문맥적 집계) 대 동일 위치로부터 유래된 비율(자기 정보 유지)을 측정합니다.
분해 단계: 분석은 세 단계에서 믹싱 비율을 추적합니다:
1. Attn: 어텐션 메커니즘 단독 출력.
2. +Res: 잔차 연결을 더한 후의 출력 ( $x_i + \text{Attn}(x)_i$ ).
3. +LN: 레이어 정규화 후의 출력.

3. 제어된 개입: 추론 시점 잔차 스케일링 (Inference-Time Residual Scaling)

구조와 행동 사이의 인과 관계를 조사하기 위해, 저자들은 추론 시점에 제어된 개입을 도입합니다. 이들은 스케일링 인자 $\alpha$ 를 사용하여 잔차 연결의 강도를 수정합니다:
$h_i^{(\alpha)} = \alpha x_i + \text{Attn}(x)_i$
재학습 없이 $\alpha$ 를 변화시킴으로써, 잔차 강도의 변화가 문맥적 믹싱, 마지막 아이템 의존성(HRLI), 그리고 랭킹 정확도에 미치는 영향을 관찰합니다. 또한, 비마지막 위치에 이미 올바른 예측 신호가 포함되어 있는 경우, $\alpha$ 를 줄임으로써 "실패(misses)"를 회복할 수 있는지 조사합니다.

주요 결과

1. "잔차 지배성(Residual Dominance)"의 식별

노름 기반 분석은 잔차 지배성이라 명명된 구조적 현상을 드러냅니다.

어텐션 집계: 어텐션 출력(Attn) 단독으로는 상당한 문맥 정보를 집계하며 높은 믹싱 비율(예: 데이터셋 전반에 걸쳐 ~0.77–0.95)을 보입니다.
잔차 이동: 잔차 연결을 더하면 믹싱 비율이 급격히 떨어집니다(예: ~0.12–0.39). 이는 잔차 경로가 이전 위치들의 상대적 기여도를 급격히 감소시키고 동일 위치의 정보를 강력하게 보존함을 의미합니다.
구조적 메커니즘: SASRec에서 예측은 오직 마지막 위치의 표현으로부터 형성됩니다. 잔차 연결이 해당 위치의 입력을 보존하기 때문에, 최종 표현은 가장 최근의 아이템에 고착됩니다. 따라서 마지막 아이템의 "불연속적 특권"은 모델의 자기 보존 성향(잔차 지배성)과 최종 위치 전용 예측 인터페이스 사이의 구조적 상호작용에 의한 것입니다.

2. 잔차 스케일링을 통한 체계적 트레이드오프

추론 시점 스케일링 실험은 잔차 강도( $\alpha$ )와 모델 행동 사이의 단조 관계를 입증합니다.

믹싱 vs. 의존성: $\alpha$ 를 감소시키면(잔차를 약화시키면) 믹싱 비율이 증가(더 많은 문맥적 통합)하고 HRLI@1이 감소(마지막 아이템 의존성 감소)합니다.
정확도 vs. 회복: $\alpha$ 를 줄이는 것이 일반적으로 전체 랭킹 정확도(HR@10, NDCG@10)를 저하시키지만, 특정 회복 메커니즘을 보여줍니다. 저자들은 마지막 위치의 표현이 정답 아이템을 랭킹하는 데 실패한 일부 시퀀스들에 대해, 비마지막 위치( $L-1, L-2, L-3$ )의 표현들이 이미 이를 올바르게 랭킹하고 있음을 발견했습니다.
실패의 회복: $\alpha$ 를 줄이면(특히 0.1–0.3 범위로), 이러한 올바른 비마지막 신호들이 최종 예측에 영향을 미칠 수 있게 되어, 마지막 위치의 실패 사례 중 일부를 회복할 수 있습니다. 이는 유용한 예측 신호가 마지막 아이템 너머에도 존재하지만, 강력한 잔차 지배성에 의해 억제되고 있음을 확인시켜 줍니다.

핵심 기여

체계적 특성화: 본 논문은 다양한 데이터셋에 걸쳐 인과적 순차 추천 모델의 마지막 아이템 의존성을 포괄적으로 경험적으로 규명하였으며, 이것이 데이터셋의 특이 현상이 아닌 견고한 현상임을 확인했습니다.
구조적 설명 (잔차 지배성): 저자들은 잔차 지배성을 마지막 아이템 의존성을 유발하는 주요 구조적 메커니즘으로 식별했습니다. 어텐션이 문맥을 집계함에도 불구하고, 잔차 연결이 표현을 자기 정보 유지 쪽으로 급격히 이동시켜 예측 인터페이스에서 마지막 아이템을 고립시킨다는 것을 입증했습니다.
메커니즘 프로빙: 추론 시점 잔차 스케일링을 통해, 잔차 강도, 문맥적 믹싱, 그리고 의존성 사이의 체계적인 연결 고리를 확립했습니다. 또한 잔차 강도를 줄이는 것이 비마지막 예측 신호가 최종 랭킹에 기여하도록 함으로써 예측 오류를 회복할 수 있음을 보여주었습니다.

의의 및 주장

본 논문은 극단적인 마지막 아이템 의존성을 인과적 셀프 어텐션 모델의 아키텍처적 특성, 특히 잔차 연결과 예측 인터페이스 간의 상호작용과 연결 짓는 구조적 설명을 제공한다고 주장합니다.

어텐션 가중성을 넘어서: 본 연구는 어텐션 가중치만을 분석하는 것으로는 추론 행동을 설명하기에 불충분하다고 주장합니다. 전체 블록의 구조적 구성(특히 잔차 합산)이 정보가 어떻게 활용되는지 이해하는 데 필수적입니다.
정보 활용: 연구 결과는 예측 오류가 단순히 인코딩된 정보의 부족 때문이 아니라, 추론 시점에 그 정보가 어떻게 표현되는지의 문제임을 시사합니다. 잔차 경로는 이전 위치들로부터 오는 유용한 신호를 억제할 수 있습니다.
제한된 범위: 저자들은 잔차 지배성이 마지막 아이템 의존성의 유일한 기원이 아님(인과적 마스킹, 학습 목표, 데이터 특성 등도 기여함)을 명시하며, 본 분석이 최종 위치에서 예측하는 인과적 모델으로 제한됨을 밝힙니다. 또한 잔차 스케일링을 새로운 추천 방법론이 아닌, 모델 메커니즘을 이해하기 위한 진단 도구로서 제시합니다.

결론적으로, 이 연구는 예측 시점의 정보 활용을 이해하는 것이 표준적인 정확도 및 어텐션 가중치 지표를 넘어 인과적 셀프 어텐션 추천 모델을 분석하는 가치 있는 관점을 제공한다는 점을 강조합니다.