The Impact of Noise on Memorability in Minds and Machines
본 논문은 기존의 심층 신경망이 개별 이미지 특징에 의존함으로 인해 노이즈가 있는 상황에서 이미지 기억 가능성을 추정할 때 인간의 강건함을 따라잡지 못하는 반면, 새로 제안된 GraphMem 모델은 이미지 간의 관계적 구조를 활용함으로써 인간의 성능과 성공적으로 일치함을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기
우리는 완벽한 시각적 세상에 살고 있지 않습니다. 우리의 눈은 종종 비가 내리는 앞 유리를 통해, 거친 보안 카메라 영상 속에서, 혹은 어스름한 저녁의 희미한 빛 속에서 사물을 봅니다. 그럼에도 불구하고, 이러한 불완전함에도 불구하고 인간의 기억은 놀라울 정도로 일관적입니다. 만약 여러분에게 생일 케이크의 촛불을 끄는 아이의 사진과 빈 주차장의 사진을 보여준다면, 대부분의 사람들은 파티 장면은 기억하고 주차장은 잊어버릴 것입니다. 이미지 기억력(image memorability)이라고 알려진 이 현상은 어떤 사진들이 다른 사진들보다 우리 뇌에 더 오래 남기 쉽다는 것을 시사합니다. 과학자들은 오랫동안 기억에 남는 이미지가 뇌에서 더 효율적으로 처리되어, 더 빠르게 인식되고 저장된다고 믿어 왔습니다. 이를 연구하기 위해 연구자들은 점점 더 인공지능, 즉 인간의 뇌를 모방하도록 설계된 컴퓨터 시스템인 심층 신경망을 사용하여 사람들이 어떤 이미지를 기억할지 예측하는 데 활용하고 있습니다. 이러한 모델들은 이제 광고에서부터 과학 연구에 이르기까지 다양한 분야에서 이미지를 점수화하고 선택하는 데 사용되며, 종종 인간 관찰자를 대체하기도 합니다. 하지만 중요한 질문이 남아 있습니다. 과연 이 기계들이 우리가 기억하는 방식과 똑같은 방식으로 기억를 이해하고 있는가 하는 점입니다. 특히 그들이 보는 이미지가 노이즈나 흐릿함으로 인해 손상되었을 때 말입니다.
조지 메이슨 대학교의 연구팀은 인간과 인공지능이 시각적 노이즈를 어떻게 다루는지 비교함으로써 이 문제를 테스트하고자 했습니다. 그들은 먼저 기억력이 매우 높은 장면부터 쉽게 잊히는 장면까지 다양한 수준의 기억력을 가진 것으로 알려진 표준 이미지 세트로 시작했습니다. 그런 다음 그들은 오래된 텔레비전 화면에서 보이는 입자와 유사한 다양한 양의 시각적 정적(static)을 추가하고, 또한 흐리게 만드는 방식을 통해 이 이미지들을 체계적으로 손상시켰습니다. 먼저, 연구진은 현재 인간의 기억을 예측하는 데 가장 뛰어나다고 간주되는 여러 최첨단 컴퓨터 모델에 이 노이즈 섞인 이미지들을 통과시켰습니다. 결과는 놀라웠습니다. 컴퓨터 모델들은 약간의 노이즈를 추가하면 오히려 약한 신호를 더 잘 감지할 수 있게 되는 '확률적 공명(stochastic resonance)'이라 불리는 현상과 유사하게 행동했습니다. 모델들에서 노이즈를 추가하자 기억력이 낮은 이미지들은 더 기억하기 쉬운 것처럼 보였고, 반대로 가장 기억하기 좋은 이미지들은 덜 기억하기 쉬운 것처럼 보였습니다. 그것은 마치 노이즈가 컴퓨터의 초점을 혼란스럽게 하여, 이미지의 중요성을 잘못 판단하게 만든 것과 같았습니다.
연구진은 이후 인간 참가자들에게 동일한 작업, 즉 반복되는 사진을 식별해야 하는 연속 인식 게임을 통해 동일한 노이즈 및 블러 처리된 이미지를 보여주었습니다. 인간의 결과는 완전히 다른 이야기를 들려주었습니다. 이미지가 손상되었을 때, 기억력이 높은 사진들에 대한 인간의 기억은 강력하게 유지되었으며 노이즈에 저항력을 보였습니다. 그러나 기억력이 낮은 사진들에 대한 기억은 급격히 감소했습니다. 컴퓨터와 달리, 인간은 노이즈가 잊혀지기 쉬운 이미지를 기억하는 데 도움이 된다고 생각하지 않았습니다. 대신, 노이즈는 단순히 무엇인가를 기억하는 것을 더 어렵게 만들었지만, 가장 인상적인 이미지를 붙잡는 뇌의 능력은 훨씬 더 견고했습니다. 연구는 컴퓨터 모델을 노이즈가 섞인 이미지로 재학습시키는 기술(이는 보통 기계가 손상된 물체를 더 잘 인식하도록 돕는 기술임에도 불구하고)을 사용했을 때도 인간과 기계 사이의 이러한 성능 격차가 지속된다는 것을 발견했습니다. 모델들은 여전히 노이즈가 기억에 미치는 영향을 잘못 판단했으며, 이는 그들의 내부적인 이미지 처리 방식이 인간이 배우고 기억하는 방식과 근본적으로 다르다는 것을 시사합니다.
컴퓨터가 왜 실패하는지 이해하기 위해, 연구진은 모델들이 판단을 내릴 때 어디를 "보고" 있는지 조사했습니다. 그들은 기억력이 높은 이미지의 경우, 모델들이 이미지의 특정 중심부에 주의를 집중한다는 것을 발견했습니다. 노이즈가 추가되면 이 초점이 흩어졌고, 이미지의 기억력에 대한 모델의 확신도는 떨어졌습니다. 기억력이 낮은 이미지의 경우, 모델들은 처음에 분산된 초점을 가졌으나 노이즈로 인해 때때로 단 하나의 지점에 집중하게 되어 우연히 점수가 높아지기도 했습니다. 대조적으로, 인간의 기억은 같은 방식으로 단일한 초점에 의존하지 않습니다. 연구진은 인간의 기억이 단순히 이미지 자체의 특징보다는 이미지가 한 세트 내의 다른 이미지들과 어떻게 관계를 맺느냐에 크게 의존한다는 것을 발견했습니다. 이를 테스트하기 위해, 그들은 '그래프멤(GraphMem)'이라는 새로운 모델을 구축했습니다. 이 모델은 각 이미지를 독립적으로 분석하는 대신, 이미지들 사이의 유사성을 바탕으로 관계를 매핑하여 모든 이미지 간의 관계를 살펴봅니다.
연구진이 이 새로운 접근 방식을 테스트했을 때, 결과는 극적으로 바뀌었습니다. 맥락과 이미지 간의 관계를 고려하는 GraphMem은 인간과 훨씬 더 비슷하게 수행되었습니다. 이 모델은 노이즈가 증가하더라도 기억력이 높은 이미지가 안정적으로 유지될 것임을 정확히 예측했고, 기억력이 낮은 이미지는 타격을 입을 것임을 예측했습니다. 또한 나쁜 이미지를 더 좋게 만든다는 함정에 빠지지도 않았습니다. 이 연구는 현재의 인공지능이 노이즈가 있는 조건에서 기억력 문제를 겪는 이유가, 우리가 자연스럽게 세상을 바라보는 광범위한 맥락을 무시한 채 모든 이미지를 독립적인 개체로 취급하기 때문이라는 점을 시사합니다. 불완전한 명료함 속에서 세상을 보고 자란 인간은 노이즈를 걸러내고, 우리가 보았던 다른 모든 것들과 비교하여 이미지의 독특함에 의존하는 법을 배웠습니다. 이 연구 결과는 진정으로 인간과 유사한 기억 시스템을 구축하기 위해서는 인공지능이 개별적인 특징을 분석하는 것을 넘어, 하나의 이미지가 다음 이미지와 연결되는 관계의 망을 이해하기 시작해야 한다는 것을 나타냅니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.