Hierarchical Vision Transformer Enhanced by Graph Convolutional Network for Image Classification
이 논문은 패치 크기 선택, 2 차원 공간 구조 정보 표현, 그리고 국소 및 전역 관계 모델링의 한계를 해결하기 위해 계층적 비전 트랜스포머와 그래프 합성곱 신경망 (GCN) 을 결합한 GCN-HViT 를 제안하여 이미지 분류에서 최첨단 성능을 달성했다고 요약할 수 있습니다.
이 논문이 해결하려는 문제는 바로 **"사진을 너무 잘게 쪼개면 전체 그림을 놓치고, 너무 크게 보면 디테일을 놓친다"**는 딜레마입니다.
1. 기존 기술의 한계 (문제점)
비트 (ViT, Vision Transformer): 이 기술은 사진을 작은 조각 (패치) 으로 잘게 나누어 봅니다. 마치 모자이크를 보듯 조각 하나하나를 보고 전체를 추리합니다.
문제: 조각을 너무 작게 나누면 계산이 너무 많아지고, 너무 크면 세부적인 질감 (예: 고양이의 수염) 을 놓칩니다. 또한, 1 차원 줄서기 (1D) 만 생각해서 사진 속 '위아래, 좌우'의 공간적 관계를 잘 못 파악합니다.
지오 (GCN, Graph Convolutional Network): 이 기술은 사진 속 조각들 사이의 연결고리를 봅니다. 마치 친구 관계도를 그리듯, 옆에 있는 조각들이 서로 어떻게 영향을 주는지 분석합니다.
문제: 옆 친구 (로컬 정보) 는 잘 보지만, 멀리 있는 친구 (글로벌 정보) 와의 관계는 잘 못 봅니다.
2. 이 논문의 해결책: "계층적 눈 + 연결망"
저자는 이 두 기술을 섞어서 GCN-HViT라는 새로운 모델을 만들었습니다.
① 계층적 구조 (Hierarchical ViT): "확대경과 망원경을 동시에"
이 모델은 사진을 한 번에 보는 게 아니라, 두 단계로 봅니다.
1 단계 (작은 조각): 사진을 작은 조각 (예: 16 개) 으로 나누어 세부적인 디테일을 봅니다. (확대경)
2 단계 (큰 조각): 그 작은 조각들을 다시 묶어서 큰 조각 (예: 4 개) 으로 만듭니다. 이제 전체적인 구조를 봅니다. (망원경)
비유: 그림을 그릴 때, 먼저 붓으로 작은 점 (세부) 을 찍고, 그 점들을 묶어 큰 형태 (전체) 를 잡는 것과 같습니다. 이렇게 하면 작고 큰 정보를 모두 챙길 수 있습니다.
② 그래프 합성곱 (GCN): "사진 속 이웃 관계 지도"
기존에는 사진 조각에 "1 번, 2 번, 3 번..."이라고 번호만 매겼습니다 (1D 위치 임베딩). 하지만 사진은 2 차원 공간이니까 '위, 아래, 왼쪽, 오른쪽' 관계가 중요합니다.
이 모델은 GCN을 이용해 각 조각이 **'이웃'**과 어떻게 연결되는지 분석합니다.
비유: 학교에서 친구를 소개할 때, 단순히 "1 번 학생, 2 번 학생"이라고 하는 게 아니라, **"1 번은 2 번의 옆 친구이고, 3 번은 1 번의 아래 친구"**라고 **지도 (그래프)**를 그려주는 것과 같습니다. 이렇게 하면 조각의 위치와 주변 관계를 훨씬 정확하게 이해하게 됩니다.
🧪 실험 결과: "누가 더 잘했을까?"
저자는 MNIST (숫자), 패션 (옷), Quick Draw (손그림) 등 3 가지 데이터로 실험했습니다.
결과: 이 새로운 모델 (GCN-HViT) 이 기존 모델들보다 가장 높은 점수를 받았습니다.
특이한 발견: 흥미롭게도, 이웃 관계를 '한 방향'으로만 연결한 모델이 '양방향'으로 연결한 모델보다 더 잘 작동했습니다. (아마도 너무 많은 정보가 오히려 혼란을 줬을 수 있습니다.)
💡 요약 및 결론
이 논문은 **"사진을 볼 때는 작은 디테일과 큰 그림을 동시에 봐야 하고, 조각들 사이의 공간적 관계 (이웃 관계) 를 지도처럼 그려야 한다"**는 사실을 증명했습니다.
기존: 조각만 보거나, 이웃만 봄.
새로운 모델 (GCN-HViT): **확대경 (세부)**과 **망원경 (전체)**을 번갈아 쓰면서, **이웃 관계 지도 (GCN)**까지 그려서 사진을 완벽하게 이해합니다.
이 기술은 앞으로 더 고해상도의 사진을 분석하거나, 복잡한 이미지 생성 작업에도 쓰일 수 있을 것으로 기대됩니다.
논문 개요
이 논문은 이미지 분류 작업을 위해 **그래프 합성곱 네트워크 (GCN)**로 강화된 **계층적 비전 트랜스포머 (Hierarchical ViT, GCN-HViT)**를 제안합니다. 기존 ViT 의 패치 크기 선택의 어려움, 1 차원 위치 임베딩의 한계, 그리고 GCN 의 글로벌 구조 정보 부족 문제를 해결하기 위해 두 모델의 장점을 통합한 새로운 아키텍처를 제시합니다.
1. 문제 제기 (Problem Statement)
기존 비전 트랜스포머 (ViT) 와 그래프 합성곱 네트워크 (GCN) 는 각각 강력한 성능을 보이지만, 이미지 분류 작업에서 다음과 같은 핵심적인 한계에 직면해 있습니다.
패치 크기 (Patch Size) 의 모호성: ViT 에서 패치 크기는 예측 정확도에 결정적입니다.
패치가 너무 작으면: 국소 특징은 잘 포착되지만 전역 구조나 패턴을 인식하는 데 실패하며, 계산 비용이 급증합니다.
패치가 너무 크면: 국소 특징이 희석되어 모델의 국소 질감 (texture) 민감도가 떨어집니다.
질문: 작은 패치와 큰 패치를 어떻게 적절히 선택하거나 종합적으로 결합할 것인가?
1 차원 위치 임베딩의 한계: ViT 는 패치의 순서를 나타내기 위해 1 차원 학습 가능 위치 임베딩을 사용합니다. 그러나 이미지는 본질적으로 2 차원 공간 구조를 가지므로, 1 차원 임베딩은 패치의 공간적 구조 정보를 정확히 포착하지 못합니다.
GCN 과 ViT 의 상호 보완적 결함:
GCN: 노드 간의 국소 연결 관계를 잘 포착하지만, 전역 그래프 구조 정보를 포착하는 데는 한계가 있습니다.
ViT: 자기 주의 (Self-attention) 메커니즘을 통해 패치 간의 전역 관계를 모델링하지만, 이미지의 국소 구조를 모델링하지는 못합니다.
2. 제안 방법론 (Methodology)
저자는 GCN-HViT라는 2 단계 프로세스를 기반으로 한 모델을 제안합니다.
A. 계층적 비전 트랜스포머 (Hierarchical ViT)
이미지의 2 차원 공간 구조를 반영하여 작은 패치에서 큰 패치로 정보가 흐르는 계층적 구조를 모델링합니다.
레벨 1 (소규모 패치): 입력 이미지를 $16$개의 작은 패치로 분할하고 CNN 을 통해 임베딩합니다.
계층적 집계: 레벨 1 의 특징 맵을 2 차원 공간에서 재배열 (Reshape) 하여, $4$개의 큰 패치 (레벨 2) 로 집계합니다. 이는 인간의 시야가 국소 미세 수준에서 거시적 수준으로 확장되는 것과 유사합니다.
트랜스포머 인코더: 각 레벨 내에서 전역 스케일의 패치 간 상호작용을 모델링하고, 레벨 간에는 소규모와 대규모 패치 간의 계층적 관계를 학습합니다.
B. 그래프 합성곱 네트워크 (GCN) 기반 2 차원 위치 임베딩
기존의 1 차원 위치 임베딩을 대체하여 2 차원 공간 구조 정보를 포착하는 새로운 임베딩 방식을 도입합니다.
그래프 구성: 2 차원 그리드 상의 각 이미지 패치를 그래프의 노드로 간주하고, 인접한 패치 간에 인접 행렬 (Adjacency Matrix) 을 정의합니다.
국소 특징 추출기: GCN 을 국소 특징 추출기로 활용하여 각 패치의 국소 연결 관계를 기반으로 한 새로운 특징 표현을 생성합니다.
2 차원 위치 임베딩: GCN 을 통해 얻은 국소 표현을 **2 차원 위치 임베딩 (EPos)**으로 사용하여, 기존 ViT 의 1 차원 임베딩을 대체합니다. 이는 각 패치의 공간적 위치와 국소 구조 정보를 동시에 제공합니다.
3. 주요 기여 (Key Contributions)
계층적 구조 분석 및 모델링: 이미지 패치의 계층적 구조 (작은 패치 → 큰 패치) 를 분석하고, 이를 모델링하는 계층적 ViT 를 설계했습니다. 이는 각 레벨 내의 전역 상호작용과 레벨 간의 계층적 관계를 모두 포착합니다.
혁신적인 위치 임베딩 방법: GCN 을 활용한 새로운 위치 임베딩을 개발하여 2 차원 공간의 패치 구조 정보를 효과적으로 포착했습니다. 이는 단순한 1 차원 임베딩보다 우월하며, 국소 특징 추출기로서도 기능합니다.
간결하고 강력한 통합 모델: GCN 과 ViT 의 장점을 통합하면서도 원리가 명확하고 간결한 모델을 제안했습니다. 3 개의 실제 데이터셋에서 실험을 통해 최첨단 (SOTA) 성능을 입증했습니다.
4. 실험 결과 (Results)
데이터셋: MNIST, Fashion-MNIST, Quick Draw (3 개의 실제 데이터셋).
비교 대상: ViT-4, ViT-16, Hierarchical ViT (HViT), GCN-HViT-1 (단방향 인접 행렬), GCN-HViT-2 (양방향 인접 행렬).
성능:
GCN-HViT-1이 모든 데이터셋에서 가장 높은 정확도를 기록했습니다 (MNIST: 98.80%, Fashion-MNIST: 90.26%, Quick Draw: 86.55%).
계층적 구조의 효과: HViT 가 기존 ViT 보다 성능이 향상됨을 확인하여, 패치 간 계층적 관계의 중요성을 입증했습니다.
GCN 의 효과: HViT 에 GCN 을 도입한 모델이 HViT 단독보다 성능이 우수하여, 국소 구조 정보와 2 차원 위치 임베딩의 효과성을 입증했습니다.
인접 행렬의 영향: 흥미롭게도 **단방향 인접 행렬 (GCN-HViT-1)**이 양방향 (GCN-HViT-2) 보다 성능이 더 좋았습니다. 이는 양방향 인접 행렬이 포함하는 위치 임베딩 정보가 오히려 덜 효과적일 수 있음을 시사합니다.
5. 의의 및 결론 (Significance)
이 논문은 이미지 분류 작업에서 **전역적 관계 (ViT 의 강점)**와 **국소적 공간 구조 (GCN 의 강점)**를 동시에 모델링하는 새로운 패러다임을 제시합니다.
기술적 의의: 패치 크기의 임의성 문제를 계층적 구조로 해결하고, 1 차원 임베딩의 한계를 2 차원 GCN 기반 임베딩으로 극복했습니다.
미래 전망: 고해상도 이미지 분류, 다단계 계층 구조 확장, 그리고 의미 분할 (Semantic Segmentation) 및 이미지 생성과 같은 다른 컴퓨터 비전 작업으로의 확장이 가능할 것으로 기대됩니다.
결론적으로, GCN-HViT 는 ViT 의 전역적 맥락 이해 능력과 GCN 의 국소적 구조 모델링 능력을 융합하여, 이미지 분류 분야에서 새로운 State-of-the-Art (SOTA) 를 달성한 의미 있는 연구입니다.