SDGraph: Multi-Level Sketch Representation Learning by Sparse-Dense Graph Architecture

이 논문은 스케치의 희소성과 추상성을 고려하여 스케치, 획, 점 수준의 세 가지 계층으로 유효 정보를 식별하고, 이를 활용하는 희소-밀도 그래프 아키텍처인 SDGraph 를 제안하여 분류, 검색, 벡터 생성 등 다양한 스케치 관련 작업에서 기존 최첨단 기법 대비 성능을 크게 향상시켰습니다.

핵심

이 논문은 **'SDGraph'**라는 새로운 인공지능 기술을 소개합니다. 이 기술은 사람이 손으로 그린 **스케치 (그림)**를 컴퓨터가 더 잘 이해하고, 분류하고, 심지어 새로운 그림을 만들어내도록 도와줍니다.

기존의 방법들은 그림을 '픽셀'이나 '점'의 나열로만 보았지만, 이 논문은 **"그림은 점, 선, 그리고 전체 그림이라는 세 가지 층위로 이루어진 복잡한 구조"**라고 말합니다.

이 복잡한 아이디어를 쉽게 이해할 수 있도록 **'도시 건설 프로젝트'**에 비유해 설명해 드리겠습니다.

---

🏗️ 1. 문제: 왜 기존 기술은 부족했을까?

기존의 스케치 인식 프로그램들은 그림을 볼 때 두 가지 방식 중 하나만 사용했습니다.

1. 픽셀 방식 (사진처럼): 그림을 전체적으로 흐릿하게 보는 것. (전체적인 느낌은 잡히지만, 세부적인 선의 연결은 놓칩니다.)
2. 점 방식 (점점 나열): 그림을 찍은 점들의 나열로만 보는 것. (세부적인 위치는 알지만, 점들이 모여 만든 '선'의 의미나 선과 선 사이의 관계를 놓칩니다.)

이전 연구들은 **"어떤 정보가 진짜 중요한지"**를 체계적으로 분석하지 못했습니다. 마치 도시를 건설할 때, '건물 하나하나', '거리', '도시 전체' 중 무엇이 중요한지 고민하지 않고 무작위로 자재를 섞은 것과 비슷합니다.

🌉 2. 해결책: SDGraph (스케치-그래프) 의 등장

저자들은 **"스케치는 세 가지 층위 (Level) 로 이루어져 있다"**는 **'다중 레벨 스케치 표현 방식'**을 제안했습니다.

• 전체 도시 (Sketch Level): 그림의 전체적인 모양과 구조.
• 거리 (Stroke Level): 각 선 (Stroke) 들의 모양과 선과 선 사이의 관계 (예: 평행한지, 교차하는지).
• 집 (Point Level): 선을 구성하는 점들의 위치와 순서.

이 세 가지 층위를 모두 동시에 이해할 수 있도록 만든 것이 SDGraph입니다.

🚀 3. SDGraph 의 핵심: 두 명의 건축가 (Sparse Graph & Dense Graph)

SDGraph 는 그림을 분석하기 위해 **두 명의 전문 건축가 (모듈)**를 고용했습니다. 이들은 서로 다른 관점에서 그림을 보지만, 서로 정보를 주고받습니다.

👷‍♂️ 건축가 A: 스패스 그래프 (Sparse Graph) - "거리의 전문가"

• 관점: 그림을 **'선 (Stroke)'**들의 모임으로 봅니다.
• 역할: 각 선이 어떤 모양인지, 그리고 다른 선들과 어떤 관계를 맺고 있는지 분석합니다.
  • 예시: "이 선은 저 선과 평행하게 그려졌네?" 혹은 "이 두 선이 교차해서 삼각형을 만들었네?"
• 특징: 전체적인 구조 (Global) 와 선 간의 관계 (Inter-stroke relations) 를 잘 파악합니다.

👷‍♀️ 건축가 B: 덴스 그래프 (Dense Graph) - "집의 전문가"

• 관점: 그림을 **'점 (Point)'**들의 모임으로 봅니다.
• 역할: 점들이 모여 만든 국소적인 디테일을 분석합니다.
  • 예시: "이 점 근처에서 선이 꺾였네?", "이 부분의 곡선이 얼마나 매끄러운가?"
• 특징: 선의 시작과 끝, 국소적인 교차점 등 미세한 디테일 (Local info) 을 잘 파악합니다.

🤝 3. 정보 융합 (Information Fusion): 두 건축가의 회의

이 두 건축가는 따로 일하지 않습니다. 정보 융합 모듈이라는 회의실을 통해 서로의 발견을 공유합니다.

• "거리 전문가가 본 선의 관계" + "집 전문가가 본 점의 디테일" = 완벽한 그림 이해
• 이 덕분에 컴퓨터는 그림을 훨씬 더 똑똑하게 이해하게 됩니다.

🧪 4. 실험 결과: 얼마나 잘할까?

이 기술은 세 가지 큰 시험에서 기존 최고의 기술들보다 훨씬 좋은 성적을 냈습니다.

1. 분류 (Classification): "이 그림이 '고양이'인지 '개'인지"를 맞히는 시험.
   • 결과: 1.15% 더 높은 정확도. (마치 시험에서 1 점 더 맞힌 격)
2. 검색 (Retrieval): "이 손그림과 가장 비슷한 실제 사진은?"을 찾는 시험.
   • 결과: 2.30% 더 높은 정확도. (기존 기술들이 놓친 디테일까지 찾아냄)
3. 생성 (Generation): "이런 스타일의 새로운 그림을 그려줘"라는 명령을 수행하는 시험.
   • 결과: 생성된 그림의 품질이 32.93%나 향상됨. (기존 기술들이 그리던 뚝뚝 끊어진 선이나 이상한 모양이 사라지고, 매끄럽고 자연스러운 그림이 나옴)

💡 5. 중요한 발견: "무엇을 무시할 것인가?"

이 논문에서 가장 흥미로운 점은 **"무엇이 중요하지 않은지"**를 찾아냈다는 것입니다.

• 선 그리는 순서 (Inter-stroke temporal info): "먼저 코를 그렸는지, 먼저 귀를 그렸는지"는 그림의 모양을 이해하는 데는 중요하지 않다고 발견했습니다. (사람들은 그림을 그릴 때 순서가 제각각인데, 결과물은 똑같기 때문입니다.)
• 점의 밀도: "어디에 점이 더 빽빽하게 찍혔는지"도 그림의 모양 자체에는 영향을 주지 않습니다.

이런 '불필요한 정보'를 제외하고, 진짜 중요한 '선과 점의 관계'에만 집중했기 때문에 성능이 크게 향상되었습니다.

🎯 결론

SDGraph는 스케치를 단순히 '점들의 나열'이나 '흐릿한 사진'으로 보지 않고, **"선과 점, 그리고 전체 구조가 어떻게 조화를 이루는지"**를 세 층위로 나누어 분석하는 혁신적인 기술입니다.

마치 도시 계획가가 도시를 볼 때, 개별 건물, 거리, 그리고 도시 전체의 흐름을 동시에 고려하여 더 나은 도시를 설계하듯, SDGraph 는 스케치의 모든 층위를 고려하여 더 똑똑하고 자연스러운 그림 이해와 생성을 가능하게 했습니다.

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 배경: 손으로 그린 스케치 (Free-hand vector sketch) 는 이미지와 달리 **희소성 (sparsity)**과 **추상성 (abstraction)**을 가지며, 점 (point) 의 순차적 나열로 표현됩니다.
• 문제점: 기존 스케치 학습 방법들은 스케치에 내재된 '효과적인 정보 (effective information)'가 무엇인지에 대한 체계적인 연구가 부족했습니다. 이로 인해 중요한 정보 (예: 스트로크 간의 관계, 국소적 세부 사항 등) 를 놓치거나, 불필요한 정보 (예: 불필요한 그리기 순서 등) 를 포함하여 성능이 제한되는 경우가 많았습니다.
• 목표: 스케치 표현 학습에 실제로 유효한 정보를 규명하고, 이를 모두 활용하여 분류, 검색, 생성 등 다양한 다운스트림 태스크에서 성능을 극대화하는 새로운 아키텍처를 제안하는 것.

2. 제안 방법 (Methodology)

A. 다단계 스케치 표현 체계 (Multi-Level Sketch Representation Scheme)

저자들은 스케치 정보를 **3 가지 수준 (Level)**으로 계층화하여 분석하고, 각 수준에서 유효한 정보와 무효한 정보를 규명했습니다.

1. 스케치 수준 (Sketch-Level): 전체 스케치를 분석 단위로 간주. **전역 정보 (Global info)**가 유효함.
2. 스트로크 수준 (Stroke-Level): 개별 스트로크를 분석 단위로 간주.
   • 유효 정보: 스트로크 내부 정보 (Intra-stroke info, 형태, 곡률 등) 와 스트로크 간 관계 (Inter-stroke relations, 병렬, 대칭, 중첩 등).
   • 무효 정보: 스트로크 간 그리기 순서 (Inter-stroke temporal info), 스트로크 그리기 방향. (실험 결과 이 정보들은 성능에 기여하지 않음).
3. 포인트 수준 (Point-Level): 개별 점을 분석 단위로 간주.
   • 유효 정보: **국소 정보 (Local info, 끝점 정합, 교차점 등)**와 스트로크 포인트 인접성 (Stroke point adjacency).
   • 무효 정보: 포인트 빈도 (Point frequency).

B. SDGraph 아키텍처

규명된 유효 정보를 모두 활용하기 위해 **SDGraph (Sparse-Dense Graph)**라는 딥러닝 아키텍처를 제안했습니다. 이는 크게 4 개의 모듈로 구성됩니다.

1. Preprocess Module: 스케치의 질량 중심 이동, 정규화, 이상치 제거, 균일한 간격으로의 재샘플링 (포인트 빈도 정보 제거) 을 수행합니다.
2. Sparse Graph (SGraph) Module:
   • 노드: 각 스트로크를 노드로 간주.
   • 역할: 스케치 수준 및 스트로크 수준의 표현 학습.
   • 특징: 스트로크 간의 관계를 그래프 컨볼루션 (GCN) 으로 학습하며, 스트로크 내 정보를 인코딩합니다. 스트로크 수를 줄이는 Down-sampling 을 통해 전역 정보를 추출합니다.
3. Dense Graph (DGraph) Module:
   • 노드: 각 포인트를 노드로 간주.
   • 역할: 스케치 수준 및 포인트 수준의 표현 학습.
   • 특징: KNN 을 통해 국소 정보 (Local info) 를 포착하고, 스트로크 내 포인트 인접성을 활용합니다.
4. Information Fusion Module:
   • SGraph 와 DGraph 간의 특징을 상호 교환 및 통합하여 정보 활용의 효율성과 완전성을 높입니다. (스트로크 특징을 포인트 특징으로, 혹은 그 반대로 전달).

작동 원리:

• 인코더 (Encoder): SDEncoder 를 통해 SGraph 와 DGraph 의 노드 특징을 업데이트하고 Down-sampling 을 수행하여 전역 특징 (Global feature) 또는 포인트별 특징을 추출합니다.
• 디코더 (Decoder): 생성 태스크 (Generation) 의 경우, SDDecoder 를 통해 특징을 Upsampling 하여 원래 스케치 크기로 복원하고 포인트별 특징을 생성합니다.

3. 주요 기여 (Key Contributions)

1. 다단계 스케치 표현 체계 제안: 스케치, 스트로크, 포인트 수준으로 정보를 분해하고, 각 수준에서 어떤 정보가 유효한지 이론적 분석과 실험을 통해 체계적으로 규명했습니다.
2. SDGraph 아키텍처 개발: 희소 그래프 (스트로크 기반) 와 밀집 그래프 (포인트 기반) 를 결합하고 정보 융합 모듈을 통해 유효한 정보를 모두 활용하는 새로운 딥러닝 모델을 설계했습니다.
3. 다양한 태스크에서의 SOTA 성능 달성: 분류, 검색 (Zero-shot, Fine-grained), 벡터 스케치 생성 등 5 가지 태스크에서 기존 최첨단 (State-of-the-Art) 방법들을 능가하는 성능을 입증했습니다.

4. 실험 결과 (Results)

• 분류 (Classification, QuickDraw):
  • 기존 CNN, RNN, GNN 기반 방법들보다 1.15% 향상된 정확도 (75.37%) 를 기록했습니다.
  • 특히 벡터 스케치 입력을 사용하는 방법들 중 가장 높은 성능을 보였습니다.
• 검색 (Retrieval):
  • CL-ZS-SBIR (Category-level Zero-shot): mAP@200 에서 0.763 으로 기존 방법들 (LVM: 0.723, ZSE-SBIR: 0.520 등) 을 상회했습니다.
  • FG-ZS-SBIR (Fine-grained Zero-shot): Acc@1 에서 0.328 로, CNN 기반 방법들보다 우수한 성능을 보였습니다.
  • FG-SBIR (Fine-grained): ChairV2 및 ShoeV2 데이터셋에서 Acc@1 및 Acc@5 모두에서 SOTA 를 달성했습니다.
• 생성 (Generation, DDPM 기반):
  • Fréchet Inception Distance (FID) 점수에서 모든 카테고리 (Simple, Medium, Complex) 에서 기존 방법들 (SketchRNN, SketchHealer, SketchKnitter 등) 보다 우수한 성능을 보였습니다.
  • 특히 복잡한 구조 (예: 자전거, 악어) 에서 스트로크의 연속성과 형태가 더 명확하게 생성되었습니다.
• Ablation Study:
  • SGraph 와 DGraph 를 모두 사용할 때 성능이 가장 우수함을 확인했습니다.
  • 정보 융합 (Information Fusion) 모듈이 추가될 때 성능이 추가로 향상됨을 입증했습니다.
  • 무효 정보 (그리기 순서 등) 를 포함하거나 유효 정보를 제거할 경우 성능이 저하됨을 실험적으로 확인했습니다.

5. 의의 및 결론 (Significance)

• 이론적 기여: 스케치 학습 분야에서 '무엇이 효과적인 정보인가'에 대한 명확한 가이드라인을 제시했습니다. 기존에 간과되었던 '스트로크 간 관계'와 '포인트 인접성'의 중요성을 부각시켰습니다.
• 기술적 기여: 희소성 (Sparse) 과 밀집성 (Dense) 을 동시에 다루는 그래프 아키텍처를 통해 스케치의 전역적 구조와 국소적 세부 사항을 동시에 포착하는 데 성공했습니다.
• 실용성: 분류, 검색, 생성 등 다양한 스케치 기반 애플리케이션에 적용 가능한 범용 모델을 제공하며, 특히 벡터 스케치의 고유한 특성 (순차성, 희소성) 을 효과적으로 처리하는 새로운 패러다임을 제시했습니다.

이 논문은 스케치 표현 학습의 한계를 극복하고, 다중 수준의 정보를 통합적으로 활용함으로써 성능을 획기적으로 개선한 획기적인 연구로 평가됩니다.