기술 요약: Do You Remember? 기억 중심의 멀티모달 AI를 향하여

1. 문제 제기

현재의 멀티모달 거대언어모델(MLLM)은 단방향 패러다임에 따라 작동한다: 이미지는 고정된 시각 인코더에 의해 처리되고, LLM의 임베딩 공간으로 투영되며, 텍스트를 생성하기 위해 소비된다. 일단 텍스트가 생성되면, LLM의 은닉 상태(hidden states) 내에 있던 시각적 정보는 폐기된다. 저자들은 이러한 아키텍처가 "재구성적 기억(reconstructive memory)"—즉, 지각한 내용을 회상하고 검증하는 능력—을 위한 메커니즘이 결여되어 있다고 주장한다.

심리학자 바틀릿(Bartlett, 1932)의 이론을 인용하며, 본 논문은 인간의 기억이 충실한 기록이 아니라 재구성 과정이라고 상정한다. 핵심 가설은 MLLM이 진정으로 "기억"하기 위해서는 내부 표현으로부터 지각적 콘텐츠를 재구성할 수 있어야 한다는 것이다. 그러나 저자들은 근본적인 단절을 식별했다: MLLM이 이미지를 "이해"할 수는 있지만(정확한 의미론적 분석 생성), 그 은닉 상태는 재구성에 필요한 "해독 가능한 시각적 표현"을 전혀 보유하지 못할 수 있다는 점이다. 나아가, 이 간극을 메우기 위해 공유 메모리 행렬을 학습시키려는 시도들은 역사적으로 그래디언트 상쇄(gradient cancellation)와 LLM의 불가역적인 정보 변환 특성으로 인해 실패해 왔다.

2. 방법론: DoYouRemember 아키텍처

저자들은 MLLM에 재구성적 기억을 도입하기 위해 설계된 3단계 아키텍처인 DoYouRemember를 제안한다:

1. 감각 압축 (Stage 0): VQ-VAE(Vector Quantized Variational Autoencoder)가 256×256 이미지를 1,024개의 이산적 시각 토큰으로 압축한다. 이 단계는 진단적으로 유의미한 특징은 보존하면서 픽셀 중복성은 제거하는 가역적이고 손실이 있는 압축 베이스라인(약 200:1 비율) 역할을 한다.
2. 의식적 추론 (Stage 1): 시각 토큰과 텍스트 프롬프트는 LoRA로 미세 조정된 LLM(Qwen2.5-7B-Instruct)에 의해 처리된다. 모델은 피부과적 분석 텍스트를 생성하는 동시에 시각 토큰 위치에서의 은닉 상태를 보존한다.
3. 재구성적 검증 (Stage 2): DiT(Diffusion Transformer) 스타일의 디코더가 LLM의 은닉 상태 또는 전용 메모리 행렬으로부터 원래 이미지를 재구성하려고 시도한다.

실험 설계

저자들은 정보 흐름을 격리하기 위해 일련의 통제된 실험을 수행했다:

• 상한 실험 (Upper Bound Experiment): 동일한 확산 디코더(Diffusion Decoder)를 사용하여 VQ-VAE 토큰(LLM 전)과 LLM 은닉 상태(LLM 후)로부터의 재구성을 비교한다.
• 메모리 아키텍처: 어텐션 기반 쓰기, 공간적 샤딩(spatial sharding), 직접적인 그래디언트 경로를 포함하여 네 세대의 공유 메모리 모듈(SM-v1 ~ SM-v4)을 테스트했다.
• 학습 전략: 저자들은 백프로파게이션(backpropagation) 기반 방식(MSE, DDPM)과 대조 학습(SimCLR, BYOL, SimSiam)을 테스트한 끝에 Local EMA(지수 이동 평균)로 결정하였다.

데이터셋

• 레이블된 데이터: 전문가의 피부과적 분석이 포함된 1,000개의 3D 안면 피부 질감 맵.
• 레이블되지 않은 데이터: 비지도 메모리 축적을 위해 사용된 99,000개의 레이블 없는 정면 얼굴 이미지.

3. 주요 발견 및 결과

A. "이해와 기억" 사이의 간극

가장 결정적인 발견은 LLM의 은닉 상태에 회복 가능한 시각 정보가 거의 존재하지 않는다는 점이다.

• 증거: 확산 디코더는 VQ-VAE 토큰(LLM 전)으로부터는 명확한 얼굴 특징을 성공적으로 재구성했으나, LLM 은닉 상태(LLM 후)를 입력받았을 때는 순수한 고주파 노이즈만을 생성했다.
• 시사점: LLM은 텍스트 생성을 위해 시각 정보를 의미론적 의미로 변환하며, 이 과정에서 시각적 기질(visual substrate)을 회복 불가능하게 만든다. 이는 단순히 (VQ-VAE와 같은) "손실 압축"이 아니라 "불가역적인 정보 변환"이다. 모델은 이미지를 이해하지만, 그것을 기억하지는 못한다.

B. 공유 메모리를 위한 백프로파게이션의 실패

저자들은 공유 메모리 행렬($M$)을 백프로파게이션으로 학습시키는 것이 테스트된 모든 아키텍처와 대조 학습 방법에서 실패함을 체계적으로 입증했다.

• 그래디언트 상쇄: 공유 행렬이 $N$개의 이질적인 입력을 서비스할 때, 샘플당 그래디엔트는 서로 상쇄된다. 유효 그래디언트 크기는 $O(1/\sqrt{N})$로 스케일링된다. $N=99,000$일 때, 그래디언트 신호는 약 314배 감쇠되어 초기화 노이즈 수준 이하로 떨어진다.
• 닭과 달걀의 교착 상태: 재구성 손실(reconstruction loss)은 압축기를 학습시킬 수 없는데, 왜냐하면 압축기는 손실을 최소화하기 위해 무엇을 보존해야 할지 이미 알고 있어야 하지만, 그래디언트 신호 없이는 무엇을 보존해야 할지 배울 수 없기 때문이다.
• Global EMA의 실패: EMA를 통한 메모리 슬롯의 전역적 평활화(global smoothing)는 슬롯 간의 다양성을 파괴하여, 모든 슬롯이 거의 동일한 벡터로 수렴하게 만든다.

C. Local EMA의 성공

저자들은 식별된 근본 원인들을 해결하는 비 백프로파게이션 솔루션으로 Local EMA를 제안한다.

• 메커니즘: 각 이미지는 전체 $K$(예: 64)개의 메모리 슬롯 중 가장 관련성이 높은 상위 $k$(예: 8)개의 슬롯만을 지수 이동 평균을 통해 업데이트한다. 그래디언트는 계산되지 않으며, 업데이트는 활성화 유사도(activation similarity)에 의해 구동된다.
• 결과:
  • 다양성: Local EMA는 슬롯 간 다양성을 보존하고 증가시킨다(분산이 0.040에서 0.194로 증가). 이는 Global EMA에서 나타난 붕괴 현상을 피한다.
  • 재구성 품질: 229K 파라미터의 메모리 행렬($K=64$)은 미학습 이미지에 대해 VQ 상한치에 근접하는 재구성 품질을 달 achievement 했다 (LPIPS 0.123 vs 0.071; SSIM 0.775 vs 0.877).
  • 확장성: 메모리 슬롯을 $K=1024$ (3.67M 파라미터)로 늘리면, 메모리가 VQ 상한치를 능가할 수 있게 된다 (LPIPS 0.056 vs 0.071). 이는 $M$의 연속적 표현이 충분한 슬롯 수가 확보될 경우 VQ의 양자화 오차를 피할 수 있음을 검증한다.

4. 이론적 기여

본 논문은 이러한 발견들을 다음과 같은 정보 이론적 프레임워크로 통합한다:

1. 손실 압축으로서의 메모리: 메모리는 손실 압축으로 정의되며, 회상은 압축 해제(decompression)로 정의된다.
2. 율-왜곡 한계 (Rate-Distortion Limit): 단일 공유 표현이 이질적인 입력을 서비스할 때 발생하는 그래디언트 상쇄는 율-왜곡 한계의 수학적 발현으로 식별된다.
3. 국소 학습 규칙 (Local Learning Rules): 공유 메모리는 전역적 백프로파게이션보다는 국소 학습 규칙(Hebbian plasticity와 같은)을 필요로 한다. Local EMA가 성공한 이유는 의미론적으로 유사한 클러스터로 업데이트를 제한함으로써 그래디언트 상쇄를 우회했기 때문이다.
4. 압축 해제 아티팩트로서의 환각 (Hallucination): 저자들은 환각을 결함이 아니라 손실 압축의 본질적인 속성으로 재정의한다. 압축 과정에서 정보가 손실되면, 디컴프레서는 누락된 데이터를 보간해야 하며, 이는 그럴듯하지만 잠재적으로 부정확한 출력을 초р생한다. 이는 LLM, 인간의 회상, 그리고 확산 모델 모두에 적용된다.

5. 의의 및 주장

본 논문은 메모리 중심의 멀티모달 AI를 위한 새로운 패러다임을 구축한다고 주장한다:

• 아키텍처의 전환: "부착형(bolt-on)" 시각 인코더 + LLM 파이프라인에서 벗어나, 공유 메모리 행렬($M$)을 계산의 중심으로 하는 방향을 제안한다. 이 패러다임에서 인지 인코더는 쓰기 헤드(write-heads) 역할을 하고, LLM은 의미론적 조직화를 위한 의식 계층 역할을 하며, 회상은 반복적인 압축 해제 과정이 된다.
• 국소 규칙의 검증: 백프로파게이션이 실패하는 곳에서 국소 학습 규칙(Local EMA)이 공유 메모리 표현을 성공적으로 학습할 수 있음을 보여주는 첫 번째 실험적 검증을 제공한다.
• 도메인 적용: 저자들은 피부 건강 영상을 이상적인 검증 도메인으로 식별한다. 이는 환자당 20개 이상의 다양한 이미지 유형(고밀도의 공동 등록 멀티모달 데이터)을 보유하고 있어, "중복 코딩(redundant coding)" 가설(멀티모달 인코딩이 환각을 줄인다)을 테스트하기에 적합하기 때문이다.

결론적으로, 이 연구는 "이해"(의미 추출)와 "기념"(해독 가능한 지각적 표현의 유지) 사이의 구분이 현재의 트랜스포머 아키텍처에서 근본적임을 밝힌다. 진정한 재구성적 기억을 달성하려면 단방향 텍스트 생성 목적 함수보다 국소 학습 규칙과 지속적이고 공유된 메모리 기질을 우선시하는 아키텍처적 변화가 필요하다.