기술 요약: FalseResMem – 시각적 인식 과업에서 허위 기억을 예측하는 신경망

문제 정의

시각적 기억 연구는 전통적으로 신호 탐지 이론(Signal Detection Theory, SDT)에 의존하여 인식 성능을 특징짓고, 기억 강도(Hit, 적중)와 결정 기준(False Alarm, 오경보)을 구분해 왔다. 이 프레임려에서 오경보율(False Alarm Rate, FAR)—새로운 이미지를 익숙한 것으로 잘못 분류하는 현상—은 종종 관대한 반응 기준이나 낮은 민감도에서 기인하는 전역적인 참가자 수준의 오류 또는 노이즈로 취급된다. 그러나 최근의 증거들은 허위 기억이 단순한 무작위 오류가 아니라 일관된, 이미지 특이적인 현상임을 시사한다. 특정 이미지들은 관찰자의 일반적인 기억 특성과 무관하게 여러 관찰자 사이에서 지속적으로 높은 오경보를 유발한다 (예: "만델라 효과").

ResMem과 같은 기존 딥러닝 모델들은 내재적 시각 특징을 추출함으로써 이미지 기억 가능성(Hit Rate)을 성공적으로 예측한다. 하지만 어떤 기존 모델도 이미지 수준의 오경보를 명시적으로 목표로 하지는 않는다. FAR를 단순한 노이즈로 취급하는 것은 허위 인식을 유도하는 체계적인 시각적 속성을 가리는 결과를 초래한다. 과제는 단순히 참가자 수준의 요약을 넘어, 이미지의 시각적 특징만을 기반으로 새로운 이미지가 익숙한 것으로 잘못 인식될 가능성을 예측할 수 있는 모델을 개발하는 것이다.

방법론

데이터셋

모델은 다섯 가지 의미론적 범주(동물, 음식, 풍경, 스포츠, 탈것)에 걸친 10,000개의 자연 이미지를 포함하는 대규모 컬렉션인 MemCat 데이터셋(Goetschalckx & Wagemans, 2019)만을 사용하여 학습되었다.

• 정답(Ground Truth): FAR 점수는 이미지당 평균 99명의 참가자가 참여한 연속 인식 과업으로부터 도출되었다. 참가자가 새로운 이미지를 반복된 이미지로 잘못 식별했을 때 오경보가 기록되었다.
• 근거: LaMem 데이터셋보다 우수한 관찰자 간 FAR 일관성($\rho = 0.78$ vs $0.67$)과 더 높은 데이터 품질(예: 중복 이미지 부재) 때문에 MemCat이 선택되었다. LaMem에서 미세 조정을 시도했으나 성능 향상은 없었다.

모델 아키텍처: FalseResMem

FalseResMem은 임의의 입력 이미지에 대해 단일 FAR 점수(0–1)를 예측하도록 설계된 하이브리드 딥러닝 아키텍처이다. 이는 ResMem의 아키텍처를 채택하되, 오차 예측을 위해 특화되어 학습되었다. 모델은 두 개의 병렬 특징 추출 스트림으로 구성된다:

1. ResNet-50 스트림: ImageNet-1K로 사전 학습된 ResNet-50의 레이어 0–8(conv1부터 adaptive average pooling까지)을 활용한다. 이 브랜치는 2,048차원의 전역 특징을 추출한다. 광범적인 테스트 결과, ImageNet 사전 학습을 거친 ResNet-50이 다른 변형들(ResNet-18, 34, 101, 152) 및 처음부터 학습시킨 경우보다 우수한 성능을 보였다.
2. AlexNet 기반 스트림: 무작위 가중치로 초기화되어 처음부터 학습된 5개 층의 합성곱 스택이다. 이 스트림은 일련의 합성곱 레이어(11x11, 5x5, 3x3 커널), ReLU 활성화 함수, 맥스 풀링(max-pooling), 그리고 국소 반응 정규화(LRN)를 통해 이미지를 처리하며, 9,216차원의 특징 벡터를 출력한다. 이 브랜치는 일반적인 기억 가능성과 구별되는 특정 오경보 관련 특징을 포착하는 역할을 하는 것으로 가설화되었다.

융합 및 헤드(Fusion and Head):
2,048차원의 ResNet 특징과 9,216차원의 AlexNet 특징은 11,264차원 벡터로 결합된다. 이는 다음의 7개 층으로 구성된 완전 연결 헤드로 전달된다:

• 레이어 1–6: 차원이 각각 4096, 4096, 2048, 1024, 512, 256인 밀집 층(Dense layers)이며, 각 층은 ReLU 활성화 함수와 레이어 1, 3, 4 이후의 드롭아웃($p=0.5$)을 따른다.
• 레이어 7: 시그모이드 활성화 함수를 사용하는 최종 밀집 층(256 $\to$ 1)으로, 예측된 FAR 확률을 출력한다.

학습 및 평가

• 최적화: 모델은 모멘텀(0.9)을 가진 확률적 경사 하강법(SGD)과 평균 제곱 오차(MSE) 손실 함수를 사용하여 학습되었다.
• 하이퍼파라미터 튜닝: 학습률($10^{-5}$ ~ $10^{-2}$)과 배치 크기(8~128)를 최적화하기 위해 Optuna를 사용하여 30회의 실험을 수행하였다. 최적의 설정은 학습률 0.009381, 배치 크기 32를 사용하였다.
• 검증: 성능은 10-겹 교차 검증(10-fold cross-validation)을 통해 평가되었다. 모델 성능의 상한선은 인간 FAR 점수의 분할-절반 관찰자 간 일관성($\rho = 0.60 \pm 0.29$)을 계산하여 설정되었다.
• 해석 가능성: 모델이 결정적인 공간 영역을 식별하기 위해 Ablation-CAM(깊은 층에서의 그래디언트 소실 문제를 처리하기 위함)과 오클루전 민감도(32x32 크기의 가림 도구 사용)를 사용하여 특징 중요도를 분석하였다.

주요 결과

예측 성능

FalseResMem은 MemCat 테스트 세트에서 견고한 성능을 달 been:

• 교차 검증: 평균 스피어먼 서열 상관계수($\rho$)는 0.48 $\pm$ 0.13이었다.
• 최상의 사례: 가장 성능이 좋은 모델은 테스트 상관계수 $\rho = 0.60$ (MSE = 0.002)을 달성하여, 인간의 관찰자 간 일관성 상한선에 도달하였다.
• 일반화: 모델은 장면(FIGRIM, LaMem), 얼굴, 전통적 기호, 예술을 포함한 9개의 독립적인 데이터셋에 성공적으로 일반화되었으며, 통계적으로 유의미한 상관관계($\rho$ 범위 0.06 ~ 0.28)를 보였다.

범주별 성능

성능은 의미론적 범주에 따라 다양하게 나타났다:

• 최고 정확도: 동물($\rho = 0.673$)과 풍경($\rho = 0.605$)이 인간 데이터와 가장 강력한 일치를 보였다.
• 최저 정확도: 음식 이미지는 정답과의 가장 큰 편차($\rho = 0.477$)를 보였으며, 이는 모델이 FoodFolio 데이터셋에 일반화되지 못한 결과와 일치한다.
• 일반화 한계: 모델은 얼굴과 전통적 기호에는 일반화되었으나, "설계된" 기호(기억되거나 잊히도록 설계된 것)에 대해서는 FAR를 예측하지 못했으며, 예술 이미지에 대해서는 약한 상관관계를 보였다.

해석 가능성 결과

• 높은 FAR 이미지: 시각적으로 단순하고 대비가 높으며 구조적으로 중립적인 패턴(예: 폭포, 얼룩말 무늬)과 연관되어 있다. Ablation-CAM과 오클루전 분석 결과, 모델은 이러한 영역의 국소적이고 저강도인 활성화에 의존함을 밝혔다.
• 낮은 FAR 이미지: 복잡하고 의미론적으로 놀랍거나 부조화스러운 장면과 연관되어 있다. 이러한 이미지는 확산된 전역 이미지 활성화를 유발하며, 이는 모델이 전역적 복잡성을 바탕으로 해당 이미지를 '새로운 것'으로 거부함을 시사한다.
• 특징 기여도: AlexNet 스트림은 오경보를 유발하는 특정 국소 특징을 포착하는 데 결정적이었으며, ResNet 스트림은 전역적 맥 easily 문맥을 제공했다.

주요 기여

1. 최초의 이미지 수준 FAR 예측기: FalseResMem은 이미지 수준의 오경보율을 예측하기 위해 명시적으로 설계되고 학습된 최초의 신경망으로, FAR를 노이즈가 아닌 체계적이고 이미지 중심적인 신호로 재정의함으로써 초점을 전환했다.
2. 하이브리드 아키텍처: 오인식을 유발하는 전역적 특징과 특정 특징을 모두 포착하기 위해 ImageNet으로 사전 학습된 ResNet-50과 재학습된 AlexNet 스타일의 스택을 결합한 이중 스트림 아키텍처를 도입했다.
3. 실용적 도구: 저자들은 프로그래밍 전문 지식 없이도 FAR를 추정할 수 있도록 FalseResMem을 오픈 소스 PyPI 패키지(falseresmem)로 공개하여 심리학, 신경과학, 컴퓨터 비전 분야의 연구자들에게 접근 가능한 도구를 제공한다.
4. 경험적 검증: 본 연구는 시각적 특징만으로도 상당 부분의 오인식 가변성을 예측할 수 있다는 경험적 증거를 제공하며, 인간의 일관성이라는 이론적 상한선에 도달하였다.

의의 및 주장

본 논문은 False-ResMem이 오경보를 무작위 오류나 참가자의 특성이 아니라 예측 가능한 이미지의 속성으로 재구성함으로써 시각적 기억 모델링의 패러다임 변화를 제공한다고 주장한다. 인간의 관찰자 간 일관성과 일치하는 성능을 달성함으로써, 이 모델은 내재적인 시각적 특징(예: 대비 경계 및 공간적 균일성)이 허위 기억과 관련된 "기만적 친숙함"을 체계적으로 유도한다는 것을 입증한다.

저자들은 이 도구의 유용성을 다음과 같이 강조한다:

• 실험 설계: 연구자들이 허위 기억을 의도적으로 유발하거나 제거할 수 있도록 자극을 사전 스크리닝하는 데 도움을 준다.
• 법의학 및 임상 적용: 오인식에 취급되기 쉬운 이미지를 식별함으로써 목격자 진술 절차를 개선하거나 임상 집단의 기억 편향을 조사하는 데 잠재적으로 기여할 수 있다.
• 이론적 발전: "만델라 효과" 및 기타 집단적 허위 기억을 연구하기 위한 정량적 프레임 Far를 제공하여, 고전적 기억 이론과 현대 딥러닝 사이의 간극을 메운다.

결론적으로, 본 논문은 정확한 회상과 체계적인 왜곡을 모두 설명할 수 있는 포괄적인 기억 이론을 구축하기 위해 FAR와 같은 오차 기반 지표를 시각적 기억 모델링에 통합하는 것이 필수적임을 강조한다.