Modern Computer Vision from CNNs to Foundation Models: A Unified Framework for Representation Learning

로봇에게 세상을 보는 법을 가르치려 한다고 상상해 보십시오. 오랫동안 이를 위한 가장 좋은 방법은 로봇에게 요리사가 단계별로 레시피를 따르는 것처럼 매우 구체적이고 경직된 규칙 세트를 제공하는 것이었습니다. 하지만 세상은 무질서하고, 다채로우며, 놀라움으로 가득 차 있습니다. 최근 과학자들은 단순히 레시 recipe를 따르는 것이 아니라, 아이가 주변을 둘러보며 배우는 것처럼 수백만 장의 사진을 공부하여 사물이 어떻게 생겼는지 실제로 '학습'하는 "파운데이션 모델(foundation models)"을 구축하려고 시도해 왔습니다. 이제 이 모델들은 매우 강력해져서, 사진 속의 고양이를 식별할 수 있을 뿐만 아니라, 그것을 묘사하거나, 처음부터 새로 그리거나, 심지어 그것이 어떤 소리를 내는지까지 이해할 수 있습니다. 연구자들이 던지는 큰 질문은 이것입니다: 이 서로 다른 유형의 똑똑한 로봇들이 사실은 모두 같은 것의 다른 버전이 아닐까? 그들은 모두 서로 다른 도구를 사용하고 있지만, 결국 동일한 종류의 내부적인 "세계 지도"를 구축하려는 것이 아닐까?

이 논문은 급변하는 컴퓨터 비전의 풍경을 안내하는 훌륭한 투어 가이드 역할을 합니다. 저자들은 서로 다른 유형의 AI를 별개의 부족으로 취급하는 대신, "통합된 프레임워크(unified framework)"를 제안합니다. 그들은 모델이 오래된 방식의 합성곱 계층(이미지의 작은 패치를 보는 방식)을 사용하든, 현대적인 "트랜스포머(Transformer)"(전체 그림을 한 번에 보는 방식)를 사용하든, 혹은 생성 모델(새로운 이미지를 만드는 방식)을 사용하든, 그들은 근본적으로 동일한 작업, 즉 세계의 숨겨진 "잠재 표현(latent representation)"을 구축하고 조작하는 일을 하고 있다고 제안합니다. 이 표현을 AI가 현실을 이해하기 위해 사용하는 비밀스럽고 압축된 언어라고 생각하십시오. 논문은 사물을 인식하는 모델, 그것에 대해 말하는 모델, 그리고 그것을 그리는 모델 사이의 경계가 모호해지고 있다고 주장합니다. 이들은 모두 인지, 추론, 창조를 동시에 처리할 수 있는 하나의 더 일반적인 목적을 가진 지능을 향해 수렴하고 있습니다.

로봇의 눈의 진화

우리가 어디에 와 있는지 이해하려면 로봇의 "눈"이 어떻게 변해왔는지 살펴봐야 합니다. 10년 넘게 지배적인 도구는 **합성곱 신경망(CNN)**이었습니다. CNN은 마치 작은 지역 탐정과 같습니다. 이 탐정은 이미지 위를 미끄러지듯 움직이며 가장자리나 모서리와 같은 단순한 패턴을 찾는 작은 돋보기(필터)를 가지고 있습니다. CNN은 이러한 국소적인 작업에 매우 능숙하며, "물체는 보통 서로 가까이 붙어 있다"와 같은 세상이 작동하는 방식에 대한 내장된 규칙(귀납적 편향)을 가지고 있기 때문에 적은 양의 데이터로부터 학습하는 데 탁월합니다. 하지만 이 탐정에게는 사각지대가 있습니다. 이미지에서 멀리 떨어진 것들 사이의 점들을 연결하는 데 어려움을 겪습니다. 예를 들어, 개 한 마리의 귀와 꼬리를 보더라도, 그것들이 사진의 반대편에 있다면 그것들이 같은 개에 속한다는 것을 깨닫지 못할 수도 있습니다.

그다음은 **비전 트랜스포머(ViT)**가 등장했습니다. CNN이 지역 탐정이라면, ViT는 글로벌 소문 전달자(global gossip)입니다. 이미지를 훑는 대신, Vi트는 이미지를 작은 퍼즐 조각(패치)으로 나누고 모든 조각이 동시에 서로에게 말을 걸 수 있게 합니다. 이는 "셀프 어텐션(self-attention)"이라고 불리는 메커니}(기제)를 통해 이루어집니다. 갑자기 로봇은 전체 그림을 한 번에 볼 수 있게 되었습니다. 귀와 꼬리가 아무리 멀리 떨어져 있어도 즉시 연결할 수 있습니다. 이로 인해 AI는 믿을 수 없을 정도로 강력해졌지만, 대가가 따랐습니다. 이러한 "소문 전달" 모델들은 매우 배가 고픕니다. CNN과 같은 내장된 규칙이 없기 때문에, 이들은 세상의 규칙을 처음부터 스스로 알아내야 하며, 따라서 방대한 양의 데이터를 필요로 합니다.

거대한 수렴: 도구의 혼합

이 논문은 매혹적인 추세를 강조합니다: 두 접근 방식이 서로 융합되기 시작했다는 것입니다. 연구자들은 지역 탐정과 글로벌 소문 전달자가 각각 상대방에게 부족한 강점을 가지고 있다는 것을 깨달았습니다. 그래서 그들은 **하이브리드 아키텍처(Hybrid Architectures)**를 만들기 시작했습니다. 지역 탐정이 가장자리 등을 찾기 위해 초기 스캐닝을 수행하고, 그 후에 글로벌 소문 전달자가 넘겨받아 전체 장면을 이해하는 팀을 상상해 보십시오. CoAtNet이나 MaxViT와 같은 모델들이 정확히 이 작업을 수행합니다. 이들은 효율적으로 국소적 세부 사항을 얻기 위해 합성곱 계층을 사용한 다음, 전체적인 그림을 이해하기 위해 어텐션 메커니즘으로 전환합니다. 논문은 이것이 단순히 무작위적인 혼합이 아니라, CNN의 데이터 효율성과 트랜스포머의 강력한 추론 능력을 모두 얻기 위한 필연적인 진화라고 제안합니다.

"파운데이션" 뇌의 부상

논문에서 설명하는 다음 단계의 도약은 **파운데이션 모델(Foundation Models)**로의 이동입니다. 이들은 AI 세계의 "슈퍼 브레인"입니다. 과학자들은 단순히 고양이를 인식하도록 로봇을 훈련시키는 대신, 레이블이 없는 수십억 장의 이미지를 사용하여 로봇을 훈련시키기 시작했습니다(자기 지도 학습). DINO와 DINOv2가 그 예입니다. 이들은 단순히 사진을 보는 것만으로 세상의 구조를 이해하는 법을 배웁니다. 만약 당신이 고양이를 정면에서 본 모습과 옆에서 본 모습을 보여준다면, 그들은 누군가 "저것은 고양이다"라고 말해주지 않아도 이들이 동일한 객체임을 학습합니다.

논문은 이러한 모델들이 시각적 표현을 이해하는 데 매우 뛰어나기 때문에 거의 모든 작업에 사용될 수 있다고 설명합니다. 예를 들어, DINOv3는 이미지의 매우 상세한 지도를 만들어내어, 특정 작업을 위한 별도의 훈련 없이도 객체의 특정 부분을 찾거나 서로 다른 사진에서 유사한 객체를 매칭하는 데 사용할 수 있습니다. 이는 마치 로봇이 시각의 "문법"을 배웠기 때문에, 당신이 요구하는 어떤 "방언(task)"도 말할 수 있게 된 것과 같습니다.

말하기와 그리기: 멀티모달 및 생성 모델

이 시각적 뇌들이 말하고 그리기 시작할 때 이야기는 더욱 흥eric해집니다. CLIP이나 ImageBind와 같은 **멀티모달 모델(Multimodal models)**은 시각적 세계를 단어와 소리의 세계와 연결합니다. CLIP은 이미지와 텍스트 설명을 매칭하는 법을 배웁니다. 이는 로봇에게 "노을"이라는 사진과 "노을"이라는 단어가 같은 의미라는 것을 가르치는 것과 같습니다. ImageBind는 여기서 더 나아가 이미지를 오디오, 깊이(depth), 심지어 모션 센서와 결과적으로 결합하여, 이 모든 서로 다른 감각들이 함께 살아가는 하나의 공유된 공간을 만듭니다.

그다음은 생성 모델(Generative Models), 특히 **확산 모델(Diffusion Models)**입니다. 이들은 예술가들입니다. 이들은 단순히 이미지를 인식하는 것이 아니라, 이미지를 창조합니다. 이들은 무작위 노이즈(static)로 가득 찬 캔버스에서 시작하여, 단계적으로 노이즈를 제거하여 선명한 이미지를 드러냅니다. 논문은 이 모델들이 이제 인식에 사용되었던 것과 동일한 "트랜스포머" 뇌를 사용하고 있다고 언급합니다. **확산 트랜스포머(Diffusion Transformers, DiT)**는 기존의 합성곱 예술가를 새로운 글로벌 소문 전달자 뇌로 대체하여, 예술 생성 과정을 더 빠르고 일관되게 만듭니다. Rectified Flow와 같은 최신 방법들은 이 과정을 훨씬 더 직접적으로 만들어, 느리고 노이즈가 섞인 여정을 직선적이고 매끄러운 경로로 바꾸려고 시도하고 있습니다.

큰 그림: 하나의 통합된 언어

이 논문의 핵심 발견은 이 모든 서로 다른 접근 방식들—CNN, 트랜스포머, 자기 지도 학습, 멀티모달 시스템, 그리고 생성 예술—이 서로 떨어진 섬이 아니라는 점입니다. 이들은 모두 시각에 대한 하나의 통일된 사고방식으로 수렴하고 있습니다. 저자들은 우리가 이들을 서로 다른 도구로 보는 것을 멈추고, 하나의 **잠재 표현(latent representation)**을 구축하고 사용하는 서로 다른 방법으로 보기 시작해야 한다고 주장합니다.

이 잠재 표현을 AI가 세상을 묘사하기 위해 사용하는 비밀스럽고 압축된 언어라고 생각하십시오.

• CNN은 국소적인 규칙을 사용하여 이 언어를 구축합니다.
• 트랜스포머는 모든 것이 서로에게 말을 걸게 함으로써 이 언어를 구축합니다.
• 파운데이션 모델은 인터넷의 전체 도서관을 읽음으로써 이 언어를 학습합니다.
• 생성 모델은 이 언어를 사용하여 새로운 이야기(이미지)를 씁니다.

논문은 컴퓨터 비전의 미래가 단 하나의 승자를 선택하는 것이 아니라고 제안합니다. 대신, 그것은 **범용 시각 지능(General-Purpose Visual Intelligence)**을 구축하는 것에 관한 것입니다. 미래의 시스템은 동일한 프레임워크 내에서 보고, 이해하고, 말하고, 창조할 수 있을 것입니다. 이들은 사진을 보고, 거기서 무슨 일이 일어나고 있는지 설명하고, 그것에 대한 질문에 답하고, 심지어 그것의 새로운 버전을 그려낼 수 있을 것입니다. 왜냐 الار 그들이 세상을 이해하기 위한 동일한 근본적인 "뇌"를 공유하기 때문입니다.

앞날: 도전 과제와 꿈

이 논문은 이러한 수렴에 대해 낙관적이면서도, 아직 우리가 그곳에 도달하지 못했음을 지적합니다. 여전히 몇 가지 큰 장애물이 남아 있습니다.

• 효율성: 이 거대한 모델들은 엄청난 컴퓨计算 능력을 갈구합니다. 이들을 스마트폰이나 로봇과 같은 작은 기기에서 실행하는 것은 여전히 과제입니다.
• 신뢰와 안전: 이 모델들은 매우 복잡하기 때문에, 왜 특정한 결정을 내렸는지 알기가 어렵습니다. 만약 의료 AI가 환자에게 질병이 있다고 말한다면, 우리는 그것이 옳은 판단인지 아니면 그냥 추측하는 것인지 알아야 합니다. 논문은 모델이 신뢰할 수 있고 스스로를 설명할 수 있어야 한다는 "신뢰할 수 있는 배포(trustworthy deployment)"의 필요성을 강조합니다.
• 데이터: 이 모델들은 방대한 양의 고품질 데이터를 필요로 합니다. 인터넷의 모든 것을 그대로 복제하지 않으면서 충분히 좋은 데이터를 찾는 것은 점점 커지는 문제입니다.

결론적으로, 이 논문은 한 분야가 성숙해가는 모습을 보여줍니다. 우리는 단순히 자동차의 수를 세는 것과 같은 단일 작업을 위한 특화된 로봇을 만드는 것에서 벗어나, 학습하고, 추론하며, 창조할 수 있는 보편적인 시각적 어시스턴트를 구축하는 방향으로 나아가고 있습니다. 도구는 변하고 있지만, 목표는 더욱 명확해지고 있습니다. 즉, 기계가 세상을 단순히 픽셀의 집합이 아니라, 그들이 이해하고 상호작용할 수 있는 풍요롭고 상호 연결된 현실로 보게 만드는 것입니다.