Screening Is Effective for Visual Recognition

로봇에게 사진 속 고양이를 인식하는 법을 가르치려 한다고 상상해 보세요. 인공지능의 세계에서 이것은 "컴퓨터 비전(computer vision)"이 맡아야 할 일입니다. 오랫동안 이를 수행하는 가장 좋은 방법은 '비전 트랜스포머(Vision Transformer, ViT)'라고 불리는 특별한 종류의 뇌를 사용하는 것이었습니다. ViT를 아주 조직적인 사서라고 생각해 보세요. 사서는 사진을 가져와서 수백 개의 작은 정사각형 퍼즐 조각(패치)으로 나눈 다음, 모든 조각이 서로 대화하도록 함으로써 전체 이야기를 파악하려고 노력합니다. 사서는 '셀프 어텐션(self-attention)'이라는 규칙을 사용하여 어떤 조각이 중요한지 결정합니다. 이는 마치 교실에서 모든 학생이 손을 들고 있고, 선생님(사서)이 누구에게 발언권을 줄지 결정해야 하는 상황과 같습니다. 선생님은 '소프트맥스(softmax)'라는 시스템을 사용하여 발언 시간을 나눕니다. 문제는 이 시스템이 날씨에 대해 속삭이거나 창밖을 구경하고 있는 학생들에게조차도 어떻게든 발언 시간을 할당하도록 강제한다는 점입니다. 고양이 사진에서 이러한 "속삭이는" 조각들은 배경의 풀밭이나 흐릿한 벽일 수 있습니다. 선생님이 그들에게 "안 돼"라고 말할 수 없기 때문에, 이 조각들이 최종 이야기에 섞여 들어가 때로는 로봇이 실제로 무엇을 보고 있는지 혼동하게 만듭니다.

여기서 "스크리닝(Screening)"이라는 새로운 아이디어가 등장합니다. 원래 텍스트를 읽기 위해 발명된 스크리닝은 클럽의 엄격한 보안 요원(bouncer)과 같습니다. 모든 사람에게 스포트라이트를 나누어 주는 대신, 보안 요원은 특정 규칙에 따라 각 개인의 신분증(관련성)을 확인합니다. 기준을 충족하지 못하면 아예 들어올 수 없습니다. 단호한 "안 돼"를 받는 것입니다. "시각적 인식을 위해 스크리닝이 효과적이다(Screening Is Effective for Visual Recognition)"라는 제목의 이 논문은 메이지 대학(Meijo University)의 시모무라 슈냐(Shunya Shimomura)와 핫타 카즈히로(Kazuhiro Hotta)가 던지는 큰 질문을 다룹니다. "우리가 텍스트뿐만 아니라 사진에도 이 '보안 요원' 스타일의 스크리닝을 사용할 수 있을까?" 그들은 VisionScreen이라는 새로운 모델을 제안합니다. 모든 퍼즐 조각이 주의를 끌기 위해 경쟁하게 만드는 대신, Vision-Screen은 각 조각이 자신의 이웃이 실제로 관련이 있는지 스스로 결정하게 합니다. 만약 배경의 풀밭 조각이 고양이와 관련이 없다면, VisionScreen은 그 조각을 대화에서 명시적으로 퇴출할 수 있습니다. 저자들은 이렇게 함으로써 로봇이 순수하게 고양이에만 집중하여 소음을 무시하고, 더 크고 복잡한 뇌를 필요로 하지 않으면서도 사물을 더 잘 인식할 수 있다고 제안합니다.

새로운 모델: VisionScreen

저자들은 기존 ViT의 "교실 경쟁" 문제를 해결하기 위해 VisionScreen을 구축했습니다. 일반적인 ViT에서는 고양이의 귀 부분 패치가 배경 패치와 대화하고 있다면, 배경 패치는 단지 귀 패치가 누군가와 대화하고 있다는 이유만으로 아주 적은 양의 주의를 받게 됩니다. 이는 상대적인 게임입니다. 다른 소음이 섞인 패치들보다 더 나아야만 주의를 얻을 수 있습니다. VisionScreen은 규칙을 절대적인 게임으로 바꿉니다. "이 패치가 관련이 있는가?"라고 묻습니다. 만약 답이 "아니오"라면, 관련성 점수는 0이 되고 해당 패치는 완전히 무시됩니다.

이를 사진에 적용하기 위해 팀은 창의적인 엔지니어링을 수행해야 했습니다. 사진은 2차원 격자(체커보드와 같은) 형태인 반면, 원래의 스크리닝은 1차원 선(문장과 같은) 형태의 텍스트를 위해 설계되었습니다. 저자들은 이 메커니즘을 2D 공간을 처리할 수 있도록 확장했습니다. 그들은 각 퍼즐 조각 주위에 유연하고 보이지 않는 거품처럼 작용하는 "공간 소프트마스크(spatial softmask)"를 도입했습니다. 이 거품 안에서 조각은 이웃들과 대화할 수 있습니다. 이 거품의 크기는 고정되어 있지 않습니다. 모델은 각 특정 작업에 따라 거품이 얼마나 커야 하는지를 학습합니다. 어떤 부분은 미세한 디테일(예: 수염)을 보기 위해 작은 거품이 필요할 수 있고, 어떤 부분은 고양이의 전체 몸을 보기 위해 큰 거품이 필요할 수도 있습니다.

연구 결과

팀은 두 가지 유명한 이미지 데이터셋인 ImageNet-1k(120만 개의 이미지가 포함된 방대한 컬렉션)와 CIFAR-100(100개의 카테고리가 있는 6만 개의 작은 데이터셋)을 사용하여 VisionScreen을 테스트했습니다. 그들은 자신들의 새로운 모델을 ViT-Tiny/16이라는 표준적인 아주 작은 버전의 Vision Transformer와 비교했습니다.

결과는 유망했습니다. ImageNet-1k에서 VisionScreen은 **72.5%**의 top-1 정확도를 달성한 반면, 표준 ViT-Tiny/16은 **68.1%**에 그쳤습니다. 이는 4.4 퍼센트 포인트의 이득입니다. 더 작은 CIFAR-100 데이터셋에서 VisionScreen은 **52.4%**를 기록하며 표준 모델의 **50.3%**를 앞질렀습니다. 흥미롭게도, VisionScreen은 약 540만 개의 파라미터를 사용하여 표준 ViT의 570만 개보다 약간 적은 파라미터를 사용하면서도 이 성과를 냈습니다. 이는 모델이 단순히 더 커져서 좋아진 것이 아니라, 무엇에 주의를 기울일지 더 똑똑하게 판단했기 때문에 좋아졌음을 시사합니다.

차이점 확인하기

VisionScreen이 왜 더 잘 작동했는지 이해하기 위해 저자들은 모델이 이미지를 어떻게 "보는지" 내부를 들여다보았습니다. 물고기(구체적으로 Tench) 사진을 볼 때, 표준 ViT는 주의가 분산되는 모습을 보였습니다. 배경에 있는 낚싯대와 릴에 주의를 기울여, 그 세부 사항들을 물고기에 대한 개념 속에 섞어버렸습니다. 이는 마치 사서가 배경 소음에 의해 혼란을 느끼는 것과 같았습니다.

반면, VisionScreen은 훨씬 더 집중되어 있었습니다. 낚시 도구와 배경의 물을 명시적으로 거부하고, 거의 전적으로 물고기 자체에만 주의를 집중했습니다. 시각화 결과는 VisionScreen이 이미지 전체에 주의를 얇게 퍼뜨리지 않았음을 보여주었습니다. 대신, 관련 있는 부분들 사이에 날카롭고 명확한 연결을 만들어냈습니다. 이는 상대적인 경쟁(교실 투표) 대신 절대적인 관련성(보안 요원)을 사용함으로써, 모델이 '가짜 상관관계(spurious correlations)'—즉, 고양이와 특정 풀밭, 또는 물고기와 낚싯대 사이의 우연한 연결—를 무시하는 법을 배웠음을 시사합니다.

세부 사항 (The Fine Print)

저자들은 이러한 결과가 강력하지만, 특정 실험에 기반하고 있다는 점을 주의 깊게 언급합니다. 그들은 이 데이터셋들로부터 처음부터 모델을 훈련시켰으며, VisionScreen이 더 높은 점수를 얻었을 뿐만 아니라 훈련 중 "검증 손실(validation loss, 오류 측정치)"도 더 낮게 나타났음을 발견했습니다. 이는 학습 과정이 더 안정적이었음을 의미합니다 (검증 손실이 낮다는 것은 모델이 더 안정적으로 학습됨을 뜻함). 또한 그들은 "게이팅(gating)" 메커니즘(특징을 켜거나 끄는 스위치)을 테스트했는데, 이를 제거했을 때 정확도가 0.7 퍼센트 포인트 떨어지는 것을 확인했습니다. 이는 이 스위치가 모델의 집중도를 미세 조정하는 데 도움이 된다는 것을 시사합니다.

하지만 이 논문은 이것이 컴퓨터 비전의 최종 해결책이라고 주장하지는 않습니다. 저자들은 이 방법이 현재의 표준에 대한 강력한 대안을 제공하며, 더 효율적이고 주의 산만함에 덜 취약한 모델을 구축하는 길을 제시한다고 제 actually 제안합니다. 그들은 결론적으로, 스크리닝이 시각적 인식을 위해 효과적일 수 있으며, 모델이 도서관의 소음에 집중하는 대신 이야기 자체에 집중하는 훌륭한 독자처럼 관련 없는 정보에 대해 "아니오"라고 말하는 법을 배우는 새로운 경로를 제공한다고 밝혔습니다.