Symbiosis-Inspired Knowledge Distillation for Incremental Object Detection

당신이 로봇에게 동물원을 인식하는 법을 가르치고 있다고 상상해 보세요. 처음에는 사자와 호랑이 사진을 보여줍니다. 로봇은 그것들을 완벽하게 찾아내는 법을 배웁니다. 그 다음, 당신은 얼룩말과 기린에 대해 가르치기로 결정합니다. 여기서 까다로운 점이 있습니다. 당신은 예전 사진들을 개인 정보 보호를 위해 다시 보여주지 않기로 약속했거나, 혹은 공간을 아끼기 위해 그냥 버렸을 수도 있습니다. 만약 당신이 로봇에게 새 동물들의 사진만 보여준다면, 로봇은 혼란에 빠질 수 있습니다. 로봇은 얼룩말을 말이라고 생각하기 시작하거나, 더 심하게는 새로운 것을 배우느라 뇌가 너무 바빠진 나머지 사자가 어떻게 생겼는지조차 잊어버릴 수도 있습니다. 이것은 "파괴적 망각(catastrophic forgetting)"이라고 불리는 문제로, 컴퓨터가 이전의 기억을 잃지 않으면서 새로운 것을 배우려고 할 때 발생합니다.

컴퓨터 비전의 세계에서, 이것은 **증분 객체 탐지(Incremental Object Detection)**라고 알려져 있습니다. 이는 카메라 시스템이 (새로운 종류의 과일이나 새로운 종류의 차량처럼) 새로운 카테고리의 객체를 찾아내는 법을 배우면서도, 이전의 사진들을 보지 않고도 예전의 것들을 여전히 기억해 내는 도전 과제입니다. 보통 과학자들은 "오래된" 지식과 "새로운" 지식 사이에 벽을 세워, 컴퓨터가 이들을 별개의 정신적 상자에 담아 두도록 만드는 방식으로 이를 해결하려 합니다. 하지만 한 논문은 벽을 세우는 것이 오히려 잘못된 방향일 수 있다고 제안합니다. 대신, 우리는 객체들이 자연스럽게 어떻게 어울려 지내는지 관찰해야 한다고 주장합니다. 현실 세계에서 객체들은 종종 쌍이나 그룹으로 나타나며(예를 들어, 말을 탄 사람이나 오렌지 옆의 사과처럼), 때로는 서로의 뒤에 숨기도 합니다. 저자들은 이러한 무질서하고 겹쳐진 관계가 컴퓨터가 더 잘 기억하도록 돕는 단서이지, 제거해야 할 노이즈가 아니라고 주장합니다.

논문: 친구들을 관찰하며 로봇에게 기억하는 법을 가르치기

이 논문은 **공생 기반 지식 증류(Symbiosis-Inspired Knowledge Distillation, SIKD)**라는 영리한 방법을 소개합니다. 이것은 로봇에게 옛 친구와 새 친구가 어떻게 상호작용하는지 관찰하게 함으로써 가르치는 방법이지, 친구들을 각각 별도의 방에 앉혀두는 방식이 아닙니다.

Xidian 대학교의 연구팀인 저자들은 기존의 대부분의 방법이 너무 엄격하다고 지적했습니다. 로봇이 오래된 객체(예: 오렌지)와 새로운 객체(예: 사과)가 함께 있는 사진을 볼 때, 기존 방식들은 오렌지가 사과와 닿아 있으면 오렌지를 무시하거나 오렌지가 존재하지 않는 척하려고 합니다. 이는 로봇이 혼란스러워할까 봐 두려워하기 때문입니다. 하지만 저자들은 "잠깐만요! 자연에서는 사물들이 공존합니다. 사람이 말을 타는 것은 두 가지가 같은 공간을 공유하는 전형적인 예입니다"라고 말합니다. 이러한 공유된 공간을 무시함으로써, 로봇은 세상이 어떻게 돌아가는지에 대한 귀중한 힌트를 잃게 됩니다.

이를 해결하기 위해 SIKD는 로봇의 뇌를 위한 초정밀 조직 스터디 그룹처럼 작동하는 두 가지 특별한 기술을 사용합니다.

1. "겹침 찾기" 기술 (공간적 공생 증류 - Spatial Symbiosis Distillation)
당신이 새로운 사과가 오래된 오렌지 뒤에 부분적으로 숨겨져 있는 사진을 보고 있다고 상상해 보세요. 엄격한 선생님은 "오렌지는 무시해, 방해가 되니까"라고 말할 것입니다. 하지만 SIKD는 "보세요! 오렌지는 여전히 저기에 있고, 사과의 위치를 이해하는 데 도움을 주고 있어요"라고 말합니다.
이 방법은 "공생 영역(symbiotic regions)"—즉, 오래된 객체와 새로운 객체가 겹치거나 함께 나타나는 곳—을 식별합니다. 그리고 CFE라고 불리는 특별한 모듈을 사용하여 로봇의 시야에서 이 복잡한 지점들을 정리합니다. 이 모듈은 로봇에게 이렇게 말합니다: "오렌지의 일반적인 형태는 유지하되, 그것이 사과와 헷чник 되지 않게 해라." 그런 다음, 로봇이 이 특정 지점들에 주의를 기울이도록 가르쳐서, 오렌지와 사과가 같은 공간을 공유할 수 있다는 것을 섞이지 않고도 정확하게 기억하도록 합니다. 이는 로봇이 혼잡한 상황에서도 정확한 공간 지도를 유지하도록 돕습니다.

2. "그룹 포옹" 기술 (의미적 공생 증류 - Semantic Symbiosis Distillation)
첫 번째 기술이 '어디에' 있는지를 본다면, 이 기술은 '무엇인지'를 봅니다. 로봇이 알고 있는 오래된 과일 목록이 있다고 상상해 보세요. 로봇이 새로운 과일을 배울 때, 실수로 "오렌지"에 대한 생각을 바꿔버릴 수도 있습니다.
SIKD는 모든 오래된 클래스에 대해 "프로토타입(prototype)"을 만듭니다. 프로토타입은 오렌지에 대한 완벽하고 평균적인 정신적 이미지라고 생각하면 됩니다. 그다음 이 방법은 로봇이 이 이미지들에 대해 갖는 확신도를 확인합니다. 만약 로봇이 어떤 것이 오렌지라고 90% 확신한다면, 그 이미지는 그룹 내에서 큰 표를 얻습니다. 만약 50%만 확신한다면, 작은 표를 얻게 됩니다.
마법은 로봇이 새로운 클래스를 배울 때 일어납니다. SIKD는 로봇이 오래된 클래스들의 순위를 그대로 유지하도록 만듭니다. 만약 오렌지가 항상 "바나나보다는 귤과 더 비슷하다"고 간주되었다면, 로봇은 사과를 배운 후에도 그 관계를 진실하게 유지해야 합니다. 이는 로봇이 새로운 것을 배웠다고 해서 전체 기억을 뒤섞어버리는 것을 방지합니다.

연구 결과

연구팀은 80가지의 다양한 객체 카테고리가 포함된 유명한 데이터셋인 COCO 2017을 사용하여 테스트를 진행했습니다. 그들은 로봇이 먼저 70개의 카테고리를 배우고 나서 10개의 새로운 카테고리를 배워야 하는 설정(70+10)을 만들었습니다.

• 결과: SIKD 방법은 비교 대상이었던 거의 모든 다른 방법보다 뛰어난 성능을 보였습니다. 70+10 테스트에서, 그들의 로봇은 **AP(평균 정밀도) 44.3%**를 달성하여, 기존의 최고 수준의 비메모리(non-memory) 방법들을 상당한 차이로 앞질렀습니다.
• 비교: 그들은 또한 40+40 분할(40개를 배우고, 40개를 더 배우는 방식)에 대해서도 테스트했습니다. 여기서 SIKD는 **43.3%**를 기록하며 역시 정상에 올랐습니다.
• "메모리 없음"의 이점: 많은 상위 방법들은 "엑셈플러(exemplars)"를 사용합니다. 즉, 로봇이 기억을 돕도록 아주 작은 옛날 사진 앨범을 보관하는 방식입니다. SIKD는 옛날 사진을 전혀 사용하지 않았음에도 불구하고, 그것을 사용하는 방법들보다 더 높은 성적을 냈습니다. 이는 로봇이 개인적인 데이터를 저장할 필요 없이 학습할 수 있다는 점에서 매우 중요한 일입니다.

그들은 또한 배와 비행기 등이 자주 겹쳐서 나타나는 항공 사진 데이터셋인 DIOR에서도 이 방법을 테스트했습니다. 여기서 SIKD는 다른 방법들에 비해 점수를 6.2에서 9.0 포인트까지 높였으며, 이는 "공생" 아이디어가 객체들이 위에서 아래로 겹쳐져 있는 상황에서도 효과적임을 보여주었습니다.

이것이 왜 중요한가

이 논문은 객체들이 현실 세계에서 존재하는 복잡하고 겹쳐진 실체를 받아들임으로써, 우리가 배운 것을 잊지 않는 더 똑똑한 로봇을 만들 수 있다고 제안합니다. 과거와 현재를 분리하려고 노력하는 대신, SIKD는 둘 사이의 연결을 다리로 사용합니다. 저자들은 이 접근 방식이 로봇이 오래된 것을 더 잘 기억하게 할 뿐만 아니라, 새로운 것이 나타났을 때 혼란을 겪는 것도 막아준다는 것을 발견했습니다. 시각적 테스트를 통해, SIKD를 사용하는 로봇은 기존 방식의 로봇들에 비해 오래된 객체를 새로운 것으로 착각할 확률이 훨씬 낮았습니다. 저자들은 이 "공생" 접근 방식이, 매 순간 보는 모든 사진을 다 외울 필요 없이 인간처럼 지속적으로 학습할 수 있는 AI를 만들기 위한 유망한 길이라고 결론지었습니다.