Evaluating Graphical Perception Capabilities of Vision Transformers

이 논문은 비전 트랜스포머 (ViT) 가 CNN 과 인간에 비해 시각화 도메인에서의 그래픽 지각 능력이 제한적임을 밝히고, 이를 시각화 시스템에 적용할 때 고려해야 할 점을 제시합니다.

핵심

📊 시각적 지각의 새로운 도전: "비전 트랜스포머 (ViT)"는 인간의 눈을 따라갈 수 있을까?

이 논문은 **"인공지능 (AI) 이 우리가 차트나 그래프를 볼 때 느끼는 것과 똑같은 방식으로 세상을 볼 수 있을까?"**라는 흥미로운 질문에서 시작합니다.

과거에는 **CNN(합성곱 신경망)**이라는 AI 모델이 주로 사용되었는데, 이는 마치 인간의 눈이 한 번에 한 부분씩 자세히 보며 그림을 이해하는 방식과 비슷했습니다. 하지만 최근 **ViT(비전 트랜스포머)**라는 새로운 AI 모델이 등장하며, 이는 마치 전체 그림을 한 번에 훑어보며 모든 부분의 관계를 동시에 파악하는 방식으로 작동합니다. ViT 는 일반적인 이미지 인식에서는 CNN 보다 훨씬 뛰어납니다.

하지만 이 연구는 **"그렇다면 ViT 가 우리가 차트를 읽을 때 느끼는 '직관'까지 똑같이 가질 수 있을까?"**를 검증했습니다.

---

🧐 연구의 핵심: "인간의 눈 vs AI 의 눈"

연구진은 **클렐랜드와 맥길 (Cleveland & McGill)**이라는 학자들이 1980 년대에 정립한 유명한 실험을 AI 에게 적용했습니다. 그들은 "사람들이 선분의 길이, 각도, 면적, 점의 개수 등을 비교할 때 얼마나 정확한지"를 측정했는데, 이는 우리가 차트를 볼 때 가장 기초적으로 사용하는 능력입니다.

연구진은 세 가지 다른 종류의 ViT 모델을 훈련시켜, 인간과 CNN 이 수행한 똑같은 기초적인 시각 테스트를 시켰습니다.

🏆 주요 발견: "AI 는 천재이지만, 차트 읽기에는 아직 초보"

1. 인간은 여전히 압도적입니다:

   • 비유: 인간은 차트를 볼 때 마치 숙련된 요리사처럼 재료를 보고 양을 직관적으로 맞춥니다. 반면, ViT 는 정교한 로봇처럼 모든 데이터를 계산하지만, 그 '직관'이 부족합니다.
   • 결과: 인간은 막대그래프의 길이나 점들의 개수를 비교할 때 ViT 보다 훨씬 정확했습니다. 특히 "서로 다른 축에 있는 막대의 길이를 비교"하거나 "점 1000 개가 그려진 구름에서 개수를 세는" 작업에서 AI 는 인간보다 훨씬 많은 실수를 했습니다.

2. ViT 의 특이한 능력:

   • 비유: ViT 는 미세한 질감이나 방향을 구별하는 데는 천재입니다. 마치 현미경처럼 작은 디테일을 보는 데는 인간보다 나을 수도 있습니다.
   • 결과: '방향 (Direction)'이나 '그림자 (Shading)'를 판단하는 작업에서는 ViT 가 인간보다 더 낮은 오류율을 보였습니다. 하지만 이는 차트를 읽는 데 필수적인 '비교' 능력과는 다릅니다.

3. CNN vs ViT:

   • 비유: CNN 은 오래된 지도처럼 익숙한 패턴을 잘 찾지만, ViT 는 새로운 GPS처럼 전체 경로를 보려 합니다.
   • 결과: 놀랍게도, 이 기초적인 차트 읽기 테스트에서는 오래된 방식인 CNN 이 ViT 보다 더 잘했습니다. ViT 는 전체적인 맥락을 보는 데는 뛰어나지만, 구체적인 '길이'나 '위치'를 정확히 재는 기초 작업에서는 CNN 보다 더 많이 헷갈렸습니다.

---

🚨 왜 이 연구가 중요한가요?

이 연구는 **"AI 가 차트를 분석하거나 데이터를 시각화하는 시스템을 만들 때, 인간처럼 생각할 수 있다고 믿어서는 안 된다"**는 경고를 줍니다.

• 현실적인 문제: 만약 우리가 AI 에게 "이 그래프에서 가장 큰 값은 어디야?"라고 물었을 때, AI 가 인간과 다른 방식으로 판단한다면, 우리가 믿고 사용하는 데이터 분석 결과가 틀릴 수 있습니다.
• 교훈: ViT 는 매우 강력하지만, 인간의 시각적 지각 (Perception) 과 완벽하게 일치하지는 않습니다. 따라서 AI 를 시각화 도구에 쓸 때는 AI 가 '어떻게' 보고 '어떻게' 판단하는지 이해하고, 인간의 직관과 AI 의 능력을 조화롭게 섞어야 합니다.

💡 한 줄 요약

"최신 AI 모델 (ViT) 은 그림을 보는 데는 천재이지만, 우리가 차트를 읽을 때 사용하는 '직관적인 눈'을 완벽하게 모방하지는 못합니다. 아직은 인간의 눈이 차트 분석의 기준이 되어야 합니다."

이 연구는 AI 개발자들에게 "단순히 정확도만 높이는 것이 아니라, 인간의 시각적 감각과 얼마나 잘 맞는가를 고려해야 한다"는 중요한 메시지를 전달합니다.

기술 요약

논문 개요

이 논문은 시각적 데이터 해석에 필수적인 그래픽 지각 (Graphical Perception) 작업에서 **비전 트랜스포머 (Vision Transformers, ViTs)**의 능력을 평가하고, 기존 합성곱 신경망 (CNN) 과 인간 관찰자의 성능과 비교 분석합니다. 특히 Cleveland 와 McGill 의 고전적인 연구에 기반한 저수준 시각적 판단 과제들을 통해 ViTs 가 인간과 유사한 지각 능력을 갖는지, 그리고 시각화 시스템에 적용 가능한지 검증합니다.

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 비전 트랜스포머 (ViT) 는 CNN 대비 복잡한 공간 패턴을 포착하는 데 탁월한 성능을 보이며 컴퓨터 비전 분야에서 주류로 부상했습니다. 또한 시각화 (Visualization) 및 차트 해석 작업에서도 적용이 확대되고 있습니다.
• 문제: ViTs 는 일반 비전 작업에서는 우수하지만, 데이터 시각화의 핵심인 저수준 시각적 인코딩 (위치, 길이, 각도, 면적 등) 을 인간처럼 정확하게 지각하는지는 아직 명확히 규명되지 않았습니다.
• 핵심 질문: ViTs 가 Cleveland 와 McGill 이 정립한 인간 지각의 위계 (Perceptual Hierarchy) 를 얼마나 잘 모방할 수 있는가? 그리고 시각화 시스템에서 인간과 유사한 지각 정확도를 달성할 수 있는가?

2. 방법론 (Methodology)

연구는 Cleveland 와 McGill 의 고전적 실험과 Haehn et al. 의 CNN 평가 연구를 확장하여 수행되었습니다.

• 평가 과제 (Low-level Visual Tasks): 인간 지각의 정확도를 계층화한 9 가지 기본 시각 인코딩을 기반으로 한 과제를 수행했습니다.
  • 주요 과제: 위치 (Position, 공통/비정렬 축), 길이 (Length), 방향 (Direction), 각도 (Angle), 면적 (Area), 부피 (Volume), 곡률 (Curvature), 명암 (Shading).
  • 구체적 실험: Position-Angle (막대/파이 차트), Position-Length (그룹/분할 막대 차트), Bars and Framed Rectangles, Point Cloud (점군 추정) 등.
• 평가 모델 (Architectures): ViT 패밀리 내 아키텍처 다양성을 반영하기 위해 3 가지 모델을 평가했습니다.
  1. Vanilla ViT (vViT): 원본 트랜스포머 구조 (전역 어텐션, 토큰 기반).
  2. Convolutional Vision Transformer (CvT): 합성곱 레이어를 도입하여 국소 특징 추출 강화.
  3. Swin Transformer: 계층적 표현 학습과 이동 윈도우 (Shifted Windows) 를 통한 국소 및 전역 정보 효율적 처리.
• 실험 설정:
  • 데이터: Cleveland-McGill 스타일의 100x100 이진 이미지를 224x224 로 리사이즈하여 생성 (각 과제당 10 만 개 이미지).
  • 학습: 사전 학습 (Pre-training) 없이 처음부터 (from scratch) 학습하여 모델 아키텍처와 학습 데이터의 편향을 배제하고 공정한 비교를 수행.
  • 비교 대상: 인간 관찰자 (Cleveland & McGill, Haehn et al. 의 기존 데이터) 및 CNN 모델 (LeNet, VGG19, Xception, ResNet-18).
• 평가 지표: **평균 로그 절대 오차 (MLAE, Mean Log Absolute Error)**를 사용하여 지각 정확도를 정량화했습니다. (값이 낮을수록 정확도 높음).

3. 주요 기여 (Key Contributions)

1. ViT 의 저수준 시각 과제 평가: Cleveland 와 McGill 의 실험을 재현하고 확장하여 3 가지 대표적인 ViT 아키텍처 (vViT, CvT, Swin) 의 성능을 체계적으로 평가했습니다.
2. 인간 및 CNN 과의 비교 분석: ViTs 가 인간 관찰자와 CNN 대비 시각화 도메인에서 어떻게 다른지, 특히 지각적 정렬 (Perceptual Alignment) 측면에서 어떤 격차가 있는지 규명했습니다.
3. 시각화 시스템에 대한 시사점: ViTs 가 차트 분석 등 고수준 작업에는 유용할 수 있으나, 인간과 유사한 저수준 지각 정확도를 요구하는 시각화 시스템 설계 시 주의가 필요함을 강조했습니다.

4. 주요 결과 (Results)

• 인간 vs ViT:
  • 인간 관찰자가 대부분의 과제에서 ViT 보다 우수한 성능을 보였습니다.
  • 특히 위치 - 길이 (Position-Length) 및 점군 추정 (Point Cloud) 과제에서 인간의 오차 (MLAE) 가 ViT 보다 현저히 낮았습니다 (예: Position-Length 에서 인간 2.01 vs Swin 4.72).
  • ViT 는 **방향 (Direction)**이나 명암 (Shading) 같은 국소적/텍스처 기반 과제에서는 인간을 능가하거나 유사한 성능을 보였으나, 비교 추론이 필요한 과제에서는 실패했습니다.
  • 지각 위계 불일치: 인간은 곡률 (Curvature) 과 면적 (Area) 을 지각하기 어렵게 여겼으나, ViT 는 이를 상대적으로 쉽게 처리하여 인간과 다른 지각 위계를 보였습니다.
• CNN vs ViT:
  • 전반적으로 CNN 이 ViT 보다 저수준 시각 과제에서 더 낮은 오차를 기록했습니다.
  • 특히 Point Cloud 과제에서 CNN(평균 MLAE 3.40) 이 ViT(평균 6.37) 보다 훨씬 뛰어났습니다.
  • Swin Transformer가 ViT 패밀리 내에서는 가장 좋은 성능을 보였으나, 여전히 CNN(VGG19 등) 에는 미치지 못했습니다.
• 일반화 능력 (Generalization):
  • ViT 는 훈련 데이터의 파라미터 변화 (크기, 위치, 밀도 등) 에 매우 민감하여, 훈련되지 않은 새로운 시각적 변형에 대한 일반화 능력이 부족했습니다.
  • 이미지 해상도 증가, 패치 크기 축소, 데이터 양 확대 등의 아블레이션 연구에서도 성능 향상이 제한적이었습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 시각화 시스템 설계의 함의: ViTs 는 차트 분류나 요소 감지 같은 고수준 작업에는 강력하지만, 인간과 동일한 지각 정확도를 요구하는 시각화 생성, 자동 요약, 또는 지각 기반 설계에는 아직 한계가 있음을 보여줍니다.
• 모델 선택의 중요성: 시각화 애플리케이션에서 ViT 를 사용할 때는 단순히 성능이 좋은 모델을 선택하는 것을 넘어, 해당 과제가 인간의 지각 위계와 얼마나 일치하는지 고려해야 합니다.
• 미래 연구 방향: 더 큰 규모의 ViT 모델, CNN 과 ViT 의 하이브리드 구조 (CvT), 그리고 멀티모달 모델 (VLM) 을 활용한 추가 연구가 필요하며, 인간 지각에 더 부합하도록 모델을 재설계하거나 훈련 전략을 수정할 필요가 있음을 시사합니다.

요약하자면, 이 논문은 ViTs 가 컴퓨터 비전 전반에서는 혁신적이지만, 데이터 시각화의 핵심인 저수준 지각 과제에서는 인간과 CNN 에 비해 정밀도와 일반화 능력에서 여전히 격차가 있음을 실증적으로 증명했습니다. 이는 시각화 AI 시스템 개발 시 인간 중심의 지각 원리를 고려해야 할 필요성을 강조합니다.