Foveation as self-supervision signal: Blur masks beat blank masks for learning robust visual representations
이 논문은 표준적인 빈 마스크를 생물학적 영감을 받은 블러 마스크(망막의 중심와 기능을 모사함)로 대체하여 자기지도 학습 기반 비전 트랜스포머 사전 학습을 수행하는 것이, 모델이 고주파 세부 사항에 의존하기보다 저주파 성분으로부터 학습하도록 유도함으로써 더욱 견고하고 일반화 가능한 시각적 표현을 생성한다는 것을 입증한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기
인간의 눈은 균일한 카메라가 아닙니다. 세상을 바라볼 때, 시야의 중심은 나뭇잎의 질감이나 표지판의 글자를 식별할 수 있을 정도로 매우 날카롭고 정교합니다. 하지만 시선을 주변부로 옮기면 그 선명함은 빠르게 부드러운 흐릿함으로 변합니다. 이것은 결함이 아니라 영장류가 세상을 보는 방식의 특징입니다. 눈이 새로운 지점으로 점프할 때마다, 이전에 흐릿했던 영역은 초점이 맞춰지고, 방금 보았던 영역은 다시 흐릿해지기 시작합니다. 과학자들은 이 끊임없는 선명함과 흐릿함의 순환이 단순한 시각 이상의 목적을 수행하는 것인지 오랫동안 궁금해해 왔습니다. 이 생물학적 리듬이 실제로 뇌가 세상을 더 효과적으로 이해하는 법을 가르쳐 주는 것일까요?
인공지능 분야에서 연구자들은 이와 유사한 방식으로 학습하는 컴퓨터 시스템을 구축하려고 노력하고 있습니다. 한 가지 대중적인 방법은 컴퓨터에게 이미지의 큰 부분을 숨긴 채 보여주고, 무엇이 빠졌는지 추측하게 하는 것입니다. 이는 시스템이 단순히 패턴을 암기하는 것이 아니라 사물의 근본적인 구조를 학습하도록 강제합니다. 그러나 대부분의 시스템은 누락된 부분을 단순히 평평한 회색 색상으로 채워 넣어, 사실상 그림에서 해당 부분을 지워버립니다. 이 새로운 연구는 정보를 지우는 것이 학습을 위한 최선의 방법이 아니라고 제안합니다. 대신, 저자들은 인간의 주변시가 가진 자연스러운 흐릿함을 모방하는 것이 인공지능에게 훨씬 더 강력한 스승이 될 수 있다고 제안합니다.
컬럼비아 대학교의 연구진은 '비전 트랜스포머(vision transformer)'라고 알려진 일종의 인공 뇌를 사용하여 이 아이디어를 테스트했습니다. 그들은 이미지의 일부를 숨기는 표준적인 방식을 가져와, 평평한 회색 블록 대신 두 가지 유형의 시각적 훼손(corruption)으로 대체했습니다. 첫 번째 유형은 마치 안개 낀 창문을 통해 사진을 보는 것처럼 숨겨진 구역을 균일하게 흐리게 만드는 것이었습니다. 두 번째 유형은 인간의 눈을 정확히 모방하도록 설계되어 더 정교했습니다. 즉, 이미지의 한 지점은 완벽하게 선명하게 유지하면서, 그 지점에서 멀어질수록 점진적으로 모든 것을 흐릿하게 만드는 방식이었습니다. 그런 다음 연구진은 이 훼손된 버전들로부터 원래의 선명한 이미지를 재구성하도록 이 컴퓨터 모델들을 훈련시켰습니다.
결과는 놀라웠습니다. 연구진이 새로운 깨끗한 이미지에서 사물을 인식하는 능력을 테스트했을 때, 흐림(blur)과 눈의 마스킹 패턴을 사용해 훈련된 모델들이 평평한 회색 블록을 사용한 표준 모델들보다 현저히 높은 성능을 보였습니다. 이러한 우위는 연구진이 더 많은 부분을 숨기거나, 컴퓨터에 주어지는 학습 시간을 줄이거나, 학습 사례를 적게 제공하여 과제를 더 어렵게 만들었을 때도 유효했습니다. 흐림을 통해 학습한 모델들은 단순히 더 견고했습니다. 조건이 어려워져도 쉽게 무너지지 않았으며, 이는 그들이 사물의 모습에 대해 더 깊고 유연한 이해를 학습했음을 시사합니다.
왜 이런 결과가 나타났는지 이해하기 위해, 연구팀은 모델들이 결정을 내릴 때 실제로 어떤 정보를 사용하는지 면밀히 살펴보았습니다. 그들은 평평한 회색 블록으로 훈련된 표준 모델들이 노이즈나 왜곡에 의해 쉽게 혼동될 수 있는 고주파 세부 사항, 즉 날카로운 가장자리와 미세한 질감에 크게 의존한다는 사실을 발견했습니다. 반면, 흐림으로 훈련된 모델들은 사물의 넓은 형태와 전체적인 구조에 해당하는 저주파 정보에 집중했습니다. 이러한 초점의 변화가 성공의 핵심이었습니다. 연구진은 이 행동과 성능 사이의 직접적인 연관성을 찾아냈습니다. 모델이 미세하고 날카로운 세부 사항에 더 많이 의존할수록 사물 인식 성능은 떨어졌습니다. 흐릿함, 즉 더 넓은 형태를 수용하는 모델들이 가장 잘 일반화되었습니다.
또한 이 연구는 컴퓨터가 단순히 사진 편집기처럼 필터를 되돌리는 작업을 학습한 것인지도 탐구했습니다. 추론할 수 있는 선명한 부분이 전혀 남지 않도록 완전히 흐려진 이미지로 모델을 테스트함으로써, 연구진은 모델들이 훨씬 더 복잡한 일을 수행하고 있음을 보여주었습니다. 모델들은 단순히 특정 왜곡을 되돌리는 법을 배운 것이 아니라, 이미지 자체 내의 구조적 관계를 인식하는 법을 배웠던 것입니다. 이는 미세한 세부 사항을 흐릿한 맥락으로부터 예측하는 행위가 인공 뇌로 하여금 세상에 대한 더 안정적이고 정확한 내부 지도를 구축하도록 만든다는 것을 시사합니다.
이 연구는 인공지능을 위해 생물학에서 영감을 얻어야 할 설득력 있는 이유를 제시합니다. 정보의 인위적인 삭제를 인간의 주변시가 가진 자연스럽고 점진적인 세부 사항의 상실 과정으로 대체함으로써, 연구진은 훨씬 더 효과적인 학습 신호를 만들어냈습니다. 이 발견은 우리의 눈이 선명함과 넓은 시야를 끊임없이 교환하며 세상을 스캔하는 방식이 견고함에 대한 내장된 교훈을 제공한다는 것을 시사합니다. 우리가 만들고 있는 기계들이 세상을 보기 위해서 얻을 수 있는 교훈은 명확합니다. 때로는 세상을 조금 덜 날카롭게 보는 것이 그것을 이해하는 가장 좋은 방법이라는 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.