FOCUS: Dependence-Regularized Disentanglement for Domain Generalization

컴퓨터에게 개를 인식하는 법을 가르친다고 상상해 보십시오. 당신은 컴퓨터에게 수천 장의 사진을 보여줍니다. 햇살 가득한 공원 속의 골든 리트리버, 비 내리는 골목길의 푸들, 눈 속의 허스키 같은 사진들 말입니다. 컴퓨터는 학습을 잘 해내지만, 지름길(shortcuts)에 의존할 수도 있습니다. 개를 무엇이 개답게 만드는지를 배우는 대신, 당신이 보여준 사진 속의 개들이 항상 초록색 잔디 위에 있거나 푸른 하늘을 배경으로 등장한다는 사실을 배울 수도 있습니다. 만약 당신이 컴퓨터에게 빨간 카펫 위에 있는 개의 사진을 보여준다면, 컴퓨터는 동물을 배운 것이 아니라 배경만을 배웠기 때문에 완전히 실패할 수도 있습니다. 이것은 인공지능에서 '도메인 시프트(domain shift)'라고 알려진 흔한 문제로, 한 환경에서 훈련된 모델이 조건이 변할 때 어려움을 겪는 현상을 말합니다. 과학자들은 컴퓨터가 변하는 풍경을 무시하고 객체의 본질적인 특징에만 집중하도록 가르침으로써 이 문제를 해결하려 노력하고 있습니다.

델라웨어 대학교의 연구진은 컴퓨터가 정확히 그렇게 할 수 있도록 돕는 새로운 방법을 제안했습니다. 그들은 이 방법을 'FOCUS'라고 부르는데, 이는 '특징 직교화를 통한 대조적 상한 분리(Feature Orthogonalization via Contrastive Upper-bound Separation)'의 약자입니다. 핵심 아이디어는 컴퓨터가 이미지에 대한 이해를 두 개의 별개 부분, 즉 객체가 무엇인지 설명하는 부분과 사진이 어디서 찍혔는지 또는 어떤 스타일인지를 설명하는 부분으로 나누도록 강제하는 것입니다. 이 두 가지 정보를 엄격하게 분리함으로써, 컴퓨터는 보지 못했던 새로운 환경에서도 객체를 훨씬 더 잘 인식하게 됩니다. 연구진은 스케치와 만화부터 야생의 동물 사진에 이르기까지 네 가지 서로 다른 이미지 세트를 대상으로 이 아이디어를 테스트했습니다. 그 결과, 그들의 방법이 기존의 가장 우수한 방법들과 비교했을 때 0.70%에서 2.70% 사이의 정확도 향상을 보였으며, 특히 야생 동물을 식별하는 어려운 과제에서 가장 큰 성과를 거두었습니다.

연구진은 간단한 관찰에서 시작했습니다. 표준 컴퓨터 비전 모델들은 종종 객체의 정체성과 이미지의 스타일을 혼동하기 때문에 혼란을 겪는다는 점입니다. 이를 해결하기 위해 그들은 정보를 처리하는 두 개의 뚜가 다른 경로, 즉 '브랜치(branch)'를 가진 시스템을 구축했습니다. 한 브랜치는 개의 형태나 자동차의 색상과 같이 이미지의 콘텐츠(내용)를 학습하는 데 전념합니다. 다른 브랜치는 조명, 사용된 카메라, 또는 그림의 예술적 스타일과 같은 도메인(영역)을 학습하는 데 전념합니다. 목표는 콘텐츠 브랜치가 배경이나 스타일을 보지 않고도 객체를 식별할 수 있을 만큼 숙달되어, 도메인 브랜치가 그 모든 추가적인 세부 사항을 포착하도록 하는 것입니다.

하지만 단순히 두 개의 브랜치를 갖는 것만으로는 충분하지 않습니다. 연구진은 만약 이 두 브랜치가 서로 너무 자유롭게 소통하도록 허용한다면, 콘텐츠 브랜치가 여전히 도메인 브랜치로부터 단서를 몰래 가져와 결국 똑같은 실수를 저지를 수 있다는 것을 깨달았습니다. 이를 방지하기 위해, 그들은 두 브랜치가 통계적으로 독립적으로 유지되도록 강제하는 규칙을 도입했습니다. 쉽게 말해, 콘텐츠 브랜치의 정보가 도메인 브랜치의 정보를 예측하는 데 도움이 되지 않아야 하며, 그 반대도 마찬가지여야 한다는 뜻입니다. 만약 컴퓨터가 특정 형태가 항상 특정 배경과 함께 나타난다는 것을 배운다면, 배경이 바뀔 때 실패하게 됩니다. 이 연결 고리를 끊음으로써, 컴퓨터는 오직 형태 자체에만 의존하도록 강요받습니다.

이러한 분리를 강제하기 위해 연구진은 '상호 정보량(mutual information)'이라는 수학적 도구를 사용했습니다. 상호 정보량을 두 가지가 서로에 대해 얼마나 많은 것을 알려주는지에 대한 척도로 생각해보십시오. 만약 당신이 날씨를 알고, 그것이 사람들이 우산을 쓰고 있는지 여부에 대해 많은 것을 알려준다면, 날씨와 우산 사이의 상호 정보량은 높습니다. 연구진은 '무엇(객체)'과 '어디(도메인)' 사이의 상호 정보량을 가능한 한 0에 가깝게 만들고자 했습니다. 그들은 이 수치를 계산하는 방법을 개발했고, 이를 훈련 과정 중 페널티(벌점)로 사용했습니다. 두 브랜치가 정보를 너무 많이 공유하기 시작할 때마다, 시스템은 페널티를 적용하여 다시 두 부분을 갈라놓았습니다.

논문은 이 계산이 어떻게 수행되는지에 대한 흥한 반전을 제시합니다. 연구진은 원래 브랜치들이 얼마나 연결되어 있는지에 대한 상한선을 제공하는 방법을 사용했습니다. 그 후 하한선을 제공하는 다른 방법을 테스트했습니다. 이것은 두 도시 사이의 거리를 측정하는 것과 같습니다. 한 방법은 거리가 특정 숫자보다 크지 않음을 보장하고, 다른 방법은 거리가 최소한 특정 숫자 이상임을 보장합니다. 연구진은 이 거리를 계산하는 구체적인 방식이 최종 결과에 영향을 미치는지 알고 싶었습니다. 그들은 두 방법 모두 매우 잘 작동한다는 것을 발견했습니다. 상한선을 설정하는 방법이 일부 테스트에서 약간 더 높은 점수를 주었지만, 하한선을 설정하는 방법도 거의 대등한 성능을 보였습니다. 이는 두 가지 연결을 측정하는 데 사용된 구체적인 수학적 도구가 중요한 것이 아니라, 객체를 배경으로부터 분리하도록 컴퓨터에 강제하는 행위 자체가 가장 중요하다는 것을 시사합니다.

연구팀은 시스템이 다양한 유형의 도전에 걸쳐 작동하는지 확인하기 위해 네 가지 주요 벤치마크를 테스트했습니다. 첫 번째는 사진, 회화, 만화, 스케치 등 네 가지 다른 스타일의 객체를 보여주는 이미지 모음이었습니다. 두 번째는 촬영 방식과 배경이 서로 다른 네 가지 데이터셋을 포함했습니다. 세 번째는 예술적 드로잉부터 실제 제품 사진에 이르는 사무실 및 가정용 물품의 대규모 컬렉션이었습니다. 네 번째는 특히 까다로운 과제로, 자연 서식지에 있는 동물을 보여주는 카메라 트랩(wildlife camera trap) 이미지였습니다. 이 야생 이미지들은 배경, 조명, 카메라 각도가 위치에 따라 급격하게 변하기 때문에 매우 까다로우며, 컴퓨터가 이러한 환경적 단서를 동물의 정체성으로 착각하는 경우가 많습니다.

예술적 스타일과 사무실 물품에 대한 테스트에서, 새로운 방법은 기존의 최고 방법들보다 약 0.70%에서 1.26% 정도 정확도를 개선했습니다. 이 수치들이 작아 보일 수 있지만, 인공지능의 세계에서 1% 미만의 향상이라도 의미 있는 것은 그것이 신뢰성에 대한 진정한 진전을 의미하기 때문입니다. 가장 극적인 개선은 야생 동물 인식 작업에서 나타났습니다. 여기서 새로운 방법은 정확도를 2.70% 끌어올렸습니다. 이는 상당한 이득이며, 이 방법이 자연계에서 발견되는 무질서하고 예측 불가능한 변화를 다루는 데 특히 유용하다는 것을 시사합니다. 연구진은 야생에서 카메라가 밝은 햇빛 아래 혹은 깊은 그림자 속의 사슴을 포착할 때, 컴퓨터가 동물을 추측하기 위해 조명에 의존하는 경우가 많다는 점에 주목했습니다. 컴퓨터가 조명을 무시하고 사슴 자체에 집중하도록 강제함으로써, 시스템은 훨씬 더 견고해졌습니다.

연구진은 또한 훈련 과정 동안 컴퓨터가 어떻게 학습하는지 면밀히 살펴보았습니다. 그들은 브랜치 사이의 연결을 측정하는 두 가지 서로 다른 수학적 방법이 상당히 다르게 작동한다는 것을 발견했습니다. 한 방법은 수치가 학습의 다른 부분들과 자연스럽게 균형을 이루어 지속적인 조정 없이도 훈련하기가 더 쉬웠습니다. 다른 방법은 훨씬 더 큰 수치를 생성하여, 연구진이 학습 과정을 압도하지 않도록 주의 깊게 규모를 축소해야 했습니다. 이러한 훈련 방식의 차이에도 불구하고, 두 방법 모두 유사한 최종 결과를 냈습니다. 이 발견은 이 접근 방식의 성공이 견고하다는 것을 시사합니다. 즉, 이 방법은 단 하나의 취약한 수학적 기교에 의존하는 것이 아니라, 객체를 맥락으로부터 분리한다는 근본적인 원리에 기반하고 있다는 것입니다.

이 연구는 컴퓨터가 현실 세계에서 더 신뢰할 수 있게 되기 위한 핵심이 객체가 '무엇인지'와 그것이 '어디에서 보이는지'를 분리하여 가르치는 데 있음을 결론짓습니다. 배경과 스타일을 별개의 엔티티(entity)로 명시적으로 모델링하고, 객체를 식별할 때 그 엔티티를 무시하도록 컴퓨터에 강제함으로써, 시스템은 속이기가 훨씬 어려워집니다. 연구진은 분리를 측정하는 구체적인 도구가 학습 방식에는 영향을 미칠 수 있지만, 분리하는 행위 자체가 개선을 이끄는 동력이라는 것을 발견했습니다. 이 접근 방식은 풍경이 바뀔 때마다 처음부터 다시 훈련할 필요 없이 새로운 환경에 적응할 수 있는 인공지능을 구축하는 유망한 길을 제시합니다.

결국, 이 연구는 컴퓨터가 새로운 상황에 일반화하는 능력이 단순히 더 많은 사례를 보는 것이 아니라, '올바른 종류'의 사례를 보는 것에 달려 있음을 입증합니다. 기계가 객체의 영구적인 특징과 환경의 일시적인 특징을 구분하도록 가르침으로써, 연구진은 조명 변화, 다른 카메라, 또는 새로운 예술적 스타일에 의해 혼란을 겪을 가능성이 훨씬 낮은 시스템을 만들어냈습니다. 결과는 이러한 분리 전략이 복잡하고 변화무쌍한 실제 세상에서 인공지능을 더욱 신뢰할 수 있고 유능하게 만드는 강력한 도구임을 보여줍니다.