🤖 machine learning

HiPPO Zoo: Explicit Memory Mechanisms for Interpretable State Space Models

이 논문은 다항식 표현을 통해 적응형 메모리 할당과 연상 메모리를 가능하게 함으로써 현대적 SSM의 암시적 메커니즘을 규명하는 동시에 효율적인 스트리밍 능력을 유지하는, HiPPO 상태 공간 모델에 대한 다섯 가지 명시적이고 해석 가능한 확장 기능들의 통합 프레임워크인 "HiPPO Zoo"를 소개한다.

원저자: Jack Goffinet, Casey Hanks, David E. Carlson

게시일 2026-06-01

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Jack Goffinet, Casey Hanks, David E. Carlson

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 방금 들은 긴 이야기를 기억하려고 노력하고 있다고 상상해 보세요. 당신의 정신적 공간은 한정되어 있어서, 모든 단어를 머릿속에 다 담아둘 수는 없습니다. 당신은 그 이야기를 요약하여 나중에 질문에 답할 수 있는 형태로 압축해야 합니다.

오랫동안, 이야기를 기억하는 데 있어 최고의 AI 모델들(이를 상태 공간 모델 또는 SSM이라 부릅니다)은 일종의 "블랙박스"와 같았습니다. 이 모델들은 과거를 요약본으로 압축하지만, 우리가 무엇을 남기고 무엇을 버리기로 결정하는지는 알 수 없습니다. 이는 마치 잠긴 금고를 보는 것과 같습니다. 그 안에 이야기가 들어있다는 것은 알지만, 그 내부 메커니즘은 볼 수 없는 것입니다.

몇 년 전, 연구자들은 HiPPO라고 불리는 방법을 발명했습니다. HiPPO를 아주 잘 정리된 서류함이라고 생각해 보세요. 무질서하게 쌓인 메모 더미 대신, 이 모델은 과거를 조직화하기 위해 특정 수학적 시스템(직교 다항식)을 사용합니다. 당신은 그 서류함을 보고 모델이 무엇을 기억하고 있는지 정확히 알 수 있습니다. "이 모델은 지난 5분간의 일을 매우 명확하게 기억하고 있지만, 한 시간 전의 일은 조금 흐릿하구나"라고 말이죠. 이것은 해석 가능성(interpretable) 측면에서 매우 훌륭합니다. 우리는 톱니바퀴가 어떻게 돌아가는지 볼 수 있기 때문입니다.

하지만 현대의 AI 모델들은 점점 더 똑똑해지고 있습니다. 이들은 원래의 HiPPO 서류함이 할 수 없었던 일들을 할 수 있습니다:

적응형 메모리(Adaptive Memory): 시끄러운 배경 소음보다 중요한 소리를 더 잘 기억하기로 결정하는 것.
연상 메모리(Associative Memory): "키 A"가 "값 B"와 연결되어 있다는 것을 기억하는 것 (마치 전화번호부처럼).
다중 속도 메모리(Multi-Speed Memory): 어떤 것은 몇 초 동안, 어떤 것은 몇 시간 동안 동시에 기억하는 것.

문제는 현대의 모델들이 이러한 기능들을 우리가 쉽게 이해할 수 없는 복잡하고 숨겨진 수학을 사용하여 수행한다는 점입니다.

"HiPPO 동물원 (The HiPPO Zoo)"
이 논문은 이렇게 말합니다: "자, 잘 정리된 HiPPO 서류함에 현대의 블랙박스 모델들이 가진 화려한 기술들을 가르쳐보자. 하지만 서류함을 열어두어 우리가 어떻게 작동하는지 볼 수 있게 만들자."

저자들은 다섯 가지의 업그레이드된 버전의 HiPPO를 포함하는 "동물원"을 만들었습니다. 각 모델은 투명성을 유지하면서도 특정한 초능력을 추가합니다. 그들이 만든 것은 다음과 같습니다:

1. Volterra HiPPO: "관계 탐정"

문제점: 표준적인 메모리는 과거의 사건들을 단순히 합산합니다. 하지만 때로는 두 사건이 함께 일어날 때 새로운 효과를 만들어내기도 합니다 (예: 밀가루 + 물 = 반죽).
동물원의 해결책: 이 버전은 특별한 "관계 탐지기"를 추가합니다. 단순히 과거를 저장하는 것이 아니라, 과거의 사건들이 서로 어떻게 상호작용하는지를 명시적으로 저장합니다.
비유: 재료(밀가루, 물)를 단순히 나열하는 요리사가 아니라, 그 재료들이 어떻게 섞여서 결과를 만드는지에 대한 레시피까지 적어두는 요리사를 상상해 보세요. 당신은 그 목록을 보고 어떤 재료들이 결합되어 결과를 만들어내는지 정확히 알 수 있습니다.

2. Salience HiPPO: "형광펜"

문제점: 때때로 당신은 지루한 배경 소음을 무시하고 이야기의 중요한 부분에만 집중해야 합니다.
동물원의 해결책: 이 버전은 "형광펜"을 가지고 있습니다. 이 모델은 과거의 타임라인을 늘리거나 줄일 수 있습니다. 만약 어떤 것이 중요하다면, 그 순간을 메모리 안에서 확장하여 더 많은 공간을 차지하게 만듭니다. 만약 지루한 내용이라면, 그것을 찌그러뜨립니다.
비유: 고무 타임라인을 생각해보세요. 지루한 부분이 지나갈 때 고무는 얇게 늘어나 메모리 속에서 아주 작아집니다. 드라마틱한 순간이 오면 고 rubber는 팽창하여 그 순간을 거대하게 만들고 나중에 찾기 쉽게 만듭니다. 모델은 실제로 중요한 것을 담기 위해 시간을 "왜곡"합니다.

3. Associative Memory HiPPO: "전화번호부"

문제점: 현대의 모델들은 "내용 기반 검색(content-addressable memory)"(이름을 찾아 전화번호부를 보는 것처럼 콘텐츠로 정보를 찾는 것)에 능숙하지만, 보통 이 과정을 숨깁니다.
동물원의 해결책: 이 버전은 실제 눈에 보이는 전화번호부를 메모리 안에 구축합니다. "키(Key, 주소)"와 "값(Value, 정보)"을 가지고 있습니다. 당신이 키를 요청하면, 모델은 책에서 정보를 찾아냅니다.
비유: 정답을 마법처럼 아는 블랙박스 대신, 이것은 카드 카탈로그를 관리하는 사서와 같습니다. 당신은 카탈로그로 가서 어떤 카드가 당신의 질문에 해당하는지, 그리고 그 카드에 어떤 메모가 붙어 있는지 정확히 볼 수 있습니다. 이는 투명한 "키-값(Key-Value)" 시스템입니다.

4. Multiscale HiPPO: "타임랩스 카메라"

문제점: 어떤 일은 빠르게 일어나고(새의 지저귐), 어떤 일은 느리게 일어납니다(계절의 변화). 표준적인 메모리는 보통 하나의 속도를 선택하여 두 가지를 모두 처리하려 하며, 이는 효율적이지 못합니다.
동물원의 해결책: 이 버전은 모든 속도에서 동시에 작동하는 단일 메모리를 만듭니다. 빠른 디테일에 줌인(zoom in)할 수도 있고, 느린 추세를 보기 위해 줌아웃(zoom out)할 수도 있습니다.
비유: 영상의 한 프레임을 일시 정지하여 파리의 날갯짓을 볼 수 있으면서도, 동시에 1년이 지나가는 모습을 빠르게 감기로 볼 수 있는 카메라를 상상해 보세요. 이 모델은 시간의 "연속체(continuum)"를 유지하므로, 빠름과 느림 사이에서 하나를 선택할 필요가 없습니다.

5. Forecasting HiPPO: "수정구슬"

문제점: 미래를 예측하는 방식은 우리가 과거를 기억하는 방식을 바꿉니다. 내일의 날씨를 예측하고 싶다면, 내년의 날씨를 예측하고 싶을 때와는 다르게 기억할 것입니다.
동물원의 해결책: 이 버전은 "미래를 예측하는 목표"가 메모리를 어떻게 재구성하는지를 보여줍니다. 예측하려는 기간에 따라 메모리의 "형태"가 어떻게 변하는지를 시각화합니다.
비유: 다양한 렌즈를 통해 풍경을 바라보는 것을 상상해 보세요. "단기" 렌즈는 전경(최근의 과거)을 매우 선명하게 만들고 배경을 흐리게 합니다. "장기" 렌즈는 먼 배경을 선명하게 만들지만 전경을 흐리게 합니다. 이 모델은 어떤 렌즈가 사용되고 있는지, 그리고 그 렌즈가 시야를 어떻게 왜곡하는지를 보여줍니다.

결과: 무엇이 작동하고 무엇이 작동하지 않는가?

저자들은 이 "동물원" 모델들을 두 가지 유형의 작업으로 테스트했습니다:

합성(Synthetic, 가짜) 작업: 특정 기억 기술을 테스트하기 위해 설계된 퍼즐들입니다 (예: "빨간 토큰만 기억하고 파란 토큰은 무시하라").
- 결과: 동물원 모델들은 이 작업에서 놀라운 성과를 보였습니다. 퍼즐이 모델이 가진 특정 "초능력"과 일치했기 때문에, 모델들은 완벽하게 문제를 해결했습니다. 예를 들어, "전화번호부" 모델은 연상 퍼즐을 100% 확률로 해결한 반면, 다른 모델들은 실패했습니다.
실제 세계(Real-World) 작업: 이 모델들을 문장에서 다음 단어를 예측하는 데 사용했습니다 (언어 모델링).
- 결과: 동물원 모델들은 최상위 수준의 "블랙박스" 모델들(예: Mamba)보다 성능이 떨어졌습니다. "전화번호부" 모델은 텍스트 예측에서 처참하게 실패했습니다.
- 이유는? 논문은 자연어가 이러한 특정한, 경직되고 투명한 구조로 다루기에는 너무 복잡하고 무질서하다고 제안합니다. "블랙박스" 모델들은 비록 우리가 그 방식을 볼 수는 없더라도, 무질서한 데이터 속에서 숨겨진 패턴을 찾아내는 데 더 뛰어납니다.

핵심 요약

HiPPO Zoo는 당신이 초능력(적응형 메모리나 연상 회상 등)을 갖추면서도 투명하고 이해하기 쉬운 AI 모델을 구축할 수 있음을 증명합니다.

모델이 어떻게 작동하는지 이해해야 한다면 (과학, 안전, 또는 디버깅을 위해), 동물원 모델은 훌륭한 도구 상자입니다. 이 모델들은 톱니바퀴가 돌아가는 모습을 볼 수 있게 해줍니다.
단순히 최고의 성능이 필요하다면 (소설 쓰기와 같은 복잡한 실제 작업을 위해), 현재의 "블랙박스" 모델들이 여전히 챔피언입니다.

이 논문은 약간의 순수한 성능을 희생하더라도 훨씬 더 많은 명확성과 통제력을 얻고자 하는 연구자들을 위한 도구 상합입니다.

기술 요약: HiPPO Zoo: 해석 가능한 상태 공간 모델을 위한 명시적 메모리 메커니즘

문제 정의

고정된 메모리 제약 조건 하에서 과거 입력의 효과적인 표현을 학습하는 것은 시퀀스 모델링의 핵심 과제이다. Mamba 및 S4와 같은 현대적인 상태 공간 모델(SSM)은 고정된 차원의 상태 벡터를 자기회귀적으로 업데이트함으로써 장기 의존성 작업에서 최첨단 성능을 달알성했다. 그러나 이러한 모델이 이력을 어떻게 표현하고, 우선순위를 정하며, 변환하는지에 대한 메커니즘은 주로 불투명한 요약으로서 기능하는 학습된 상태 역학 내에 암묵적으로 인코딩되어 있다. 이러한 투명성의 결여는 과거의 정보가 어떻게 저장되고 활용되는지에 대한 원칙적인 분석을 방해한다. 원래 HiPPO(High-Order Polynomial Projection Operators) 프레임워크는 직교 다항식(OP) 기저를 통해 과거 이력에 대한 명시적이고 해석 가능한 표현을 제공했지만, 현대적 SSM의 핵심 기능인 입력 의존적 상태 업데이트, 적응형 메모리 할당, 비선형 상호작용 및 연상 메모리 기능이 부족했다.

방법론

본 연구는 현대적인 기능들을 추가하면서도 명시적이고 해석 가능한 구조를 보존하도록 HiPPO 프레임워크를 재검토한다. 저자들은 "HiPPO zoo"라고 명명된 다섯 가지 확장 기능을 포함하는 통합 프레임워크를 제안한다. 각 확장은 이력 측정값(history measure), 다항식 계수를 지배하는 역학, 또는 판독 기하학(readout geometry)의 명시적인 수정을 통해 특정 모델링 능력을 실현한다.

1. Volterra HiPPO

비선형 상호작용의 필요성을 해결하기 위해, Volterra HiPPO는 Volterra 급수를 직교 다항식 기저에 직접 임베딩한다. 상태에 블랙박스 비선형 판독을 적용하는 대신, 이 방법은 출력을 입력 이력의 다중 선형 범함수(multilinear functionals)의 합으로 매개변수화한다. 비선형 역학은 증가하는 차수의 해석 가능한 커널로 분해되며, 여기서 계수는 지연된 입력 성분들 간의 $k$ 차 상호작용 강도를 명시적으로 인코딩한다.

2. Salience HiPPO

적응형 메모리 할당을 가능하게 하기 위해, Salience HiPPO는 HiPPO 이력 측정값의 스칼라 시간 의존적 변형을 도입한다. 입력 의존적 스칼라 신호 $g(t)$ 로 역학 행렬을 스케일링함으로써, 시스템은 시간 좌표를 효과적으로 왜곡한다. 이를 통해 모델은 정보가 있는 입력의 국소적 표현을 확장하고 정보가 없는 입력은 압축할 수 있으며, 고차원 게이팅 없이도 특정 시점을 우선순위에 두는 투명한 메커니즘을 제공한다.

3. Associative Memory HiPPO

내용 주소 지정 방식의 검색(content-addressable retrieval)을 달성하기 위해, 이 확장은 시간적 인코딩과 연상 저장 기능을 분리한다. HiPPO 상태는 최근 이력의 압축된 표현 역할을 계속 수행하는 한편, 별도의 연상 메모리 뱅크는 학습된 연속적 주소를 기반으로 값을 저장한다. 쓰기는 특정 주소에서의 메모리 함수 값을 타겟 값 쪽으로 이동시키기 위해 계수를 업데이트하는 과정을 포함하며, 읽기는 쿼리 주소에서 함수를 평가한다. 이는 다항식 재생 커널(reproducing kernel)이 유사성과 간섭을 제어하는 명시적인 키-값 메모리 구조를 생성한다.

4. Multiscale HiPPO

알 수 없거나 가변적인 시간 지평을 처리하기 위해, Multiscale HiPPO는 HiPPO 상태 자체를 역 시간 척도(inverse timescale) 파라미터의 함수로 표현한다. 역 시간 척도(예: $u = \log g$ )를 매개변수화하고 이 척도 차원에 대해 직교 다항식 기저로 상태를 확장함으로써, 모델은 연속적인 유효 시간 척도의 궤적을 인코딩하는 단일 연속 시간 선형 시스템을 유지한다. 이를 통해 시스템은 단일 고정 척도나 독립적인 뱅크 세트에 종속되지 않고 넓은 범위의 지평에 걸쳐 쿼리될 수 있다.

5. Forecasting HiPPO

훈련 목적의 영향을 명시적으로 만들기 위해, Forecasting HiPPO는 지평 의존적 "예측 메모리"를 구축하고 시각화한다. 특정 지평에 대해 과거 상태로부터 미래 상태를 예측하도록 선형 맵을 훈련함으로써, 이 방법은 이력 공간에 기하학적 구조를 유도한다. 이는 서로 다른 예측 목적(예: 단기 지평 vs 장기 지평)이 메모리 구조를 어떻게 형성하고, 과거의 서로 다른 특징(예: 세부 사항 vs 매끄러운 구조)을 어떻게 강조하는지를 드러낸다.

주요 결과

저자들은 특정 메모리 메커니즘을 격리하도록 설계된 합성 시퀀스 모델링 작업에서 이러한 확장 기능들을 평가하였다:

비선형 역학: 비선형 시스템 벤치마크에서 Volverra HiPPO는 2차 상호작용을 정확하게 모델링했으며, 표준 MLP 판독보다 빠르게 수렴하는 동시에 기저의 커널 구조를 명시적으로 드러냈다.
적응형 할당: 정보가 있는 토큰과 없는 토큰을 구분해야 하는 선택적 복사 작업에서, Salience HiPPO는 100%의 테스트 정확도를 달성했다. 이 모델은 이력 측정값을 재구성하여 정보가 있는 입력을 우선순위에 두는 데 성공했으며, 이는 LSTM (60.8%), S4D (81.0%), Transformer (22.1%)와 같이 파라미터 수가 매칭된 베이스라인들을 능가했다.
연상 회상: 키-값 바인딩을 요구하는 합성 연상 회상 작업에서, Associative Memory HiPPO는 100%의 정확도를 달성했다. 반면, 파라미터 수가 매칭된 베이스라인들(S4D, LSTM, Transformer)은 거의 무작위 수준에 머물며 실패했다. 스케일링 실험은 표준 SSM이 이 성능에 도달하기 위해 상당한 구조적 변경(예: 깊이, 위치 임베딩)이나 대규모 파라미터 증가가 필요함을 나타냈다.
다중 척도 표현: 가변 지평 재구성 실험에서, 단일 Multiscale HiPPO 시스템은 세 자릿수 범위의 다양한 지평에 걸쳐 여러 단일 척도 HiPPO 시스템의 재구성 정확도와 일치하거나 이를 능가하였으며, 이는 연속적 시간 척도에 대한 효율적인 표현을 입증한다.
언어 모델링: WikiText-2 문자 단위 언어 모델링 작업에서, HiPPO Zoo 변형들은 현대적 SSM(예: Mamba)보다 낮은 성능을 보였다. MLP 판독을 사용한 Vanilla HiPPO는 6.80의 퍼플렉시티(perplexity)를 기록한 반면, Mamba는 5.54를 기록했다. 특히, Associative Memory HiPPO는 낮은 성능(20.41 PPL)을 보였는데, 이는 해당 모델의 연속적 주소 지정 전략이 자기회귀적 언어 예측과 맞지 않음을 시사한다.

의의 및 주장

본 논문은 "HiPPO zoo"가 현대적 SSM의 특징적인 능력들이 해석 가능한 다항식 프레임워크 내에서 명시적으로 구현될 수 있음을 보여준다고 주장한다. 주요 기여는 학습된 전이를 블랙박스로 의존하지 않고도 이력의 가중치 부여 방식, 비선형 상호작용의 구조, 연상 검색 방식 등 메모리 메커니즘을 직접 시각화하고 분석할 수 있다는 점이다.

저자들은 이 연구를 해석 가능성과 순수 예측 성능 사이의 트레이드오프(trade-off)로 규정한다. 현대적 SSM이 언어 모델링과 같은 일반적인 예측 작업에서는 여전히 우월하지만, HiPPO zoo는 과학적 모델링이나 설명 가능한 메모리 할당이 필요한 스트리밍 환경과 같이 메커니즘적 이해가 필수적인 응용 분야에 투명한 대안을 제공한다. 본 연구는 명시적이고 해석 가능한 구조가 블랙박스 딥러닝과 연관된 복잡한 행동들을 실현할 수 있음을 시사하며, 시퀀스 모델의 원칙적 설계와 분석을 위한 툴킷을 제공한다.