Beyond Accuracy: What Matters in Designing Well-Behaved Image Classification Models?

이 논문은 326 개의 백본 모델을 분석하여 이미지 분류 모델의 정확도 외의 9 가지 품질 차원을 종합적으로 평가하고, 이를 바탕으로 다양한 훈련 전략과 아키텍처가 모델의 품질에 미치는 영향을 규명하며 다차원 품질을 종합적으로 평가하는 새로운 지표인 QUBA 점수를 제안합니다.

핵심

이 논문은 **"정답만 맞춘다고 해서 좋은 모델이 아니다"**라는 메시지를 전달하는 매우 흥미로운 연구입니다.

기존에 인공지능 (AI) 연구자들은 "이 모델이 시험 문제를 몇 개나 맞췄나?"라는 정확도 (Accuracy) 하나만 보고 모델을 평가했습니다. 마치 학생의 성적을 볼 때 오직 '수학 점수'만 보고 "이 학생은 똑똑하다"고 판단하는 것과 비슷합니다.

하지만 이 논문은 **"그 학생이 수학만 잘할 뿐, 다른 과목은 못하거나, 시험장에 가면 긴장해서 망치거나, 친구를 차별하지는 않는지?"**까지 모두 봐야 진짜 '훌륭한 학생'이라고 할 수 있다고 말합니다.

이 논문의 핵심 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 연구의 배경: "정답만 잘 맞추는 AI 의 문제점"

지금까지 AI 는 이미지 분류 (예: 고양이 vs 개) 에서 정답을 맞추는 능력만 극대화했습니다. 하지만 실제 세상에서는 다음과 같은 문제들이 발생합니다.

• 약한 AI: 사진에 아주 작은 노이즈 (소음) 가 섞이거나, 사진이 흐릿해지거나, 배경이 바뀌기만 해도 엉뚱한 답을 냅니다. (비유: 시험지 한 줄에 오타가 하나만 있어도 문제를 다 못 푸는 학생)
• 불공정한 AI: 특정 종류의 고양이 (예: 검은 고양이) 는 잘 맞추는데, 흰 고양이는 자주 틀립니다. (비유: 특정 지역 출신 학생만 잘 가르치는 편견 있는 선생님)
• 과신한 AI: 정답일 확률이 10% 인데도 "100% 맞다"고 자신 있게 말합니다. (비유: 전혀 모르는 문제를 100% 확신하며 답하는 학생)

연구진은 **"진짜 잘 behaving(잘 행동하는) AI"**를 만들기 위해 정확도 외에도 9 가지 중요한 능력을 동시에 평가하기로 했습니다.

2. 9 가지 평가 항목 (AI 의 '다재다능함' 체크리스트)

이 논문은 326 개의 다양한 AI 모델들을 모아 다음 9 가지 능력을 측정했습니다.

1. 정확도 (Accuracy): 기본 시험 점수.
2. 악의적 공격 방어 (Adversarial Robustness): 누군가 사진에 보이지 않는 작은 변장을 해놓아도 알아맞히는 능력. (비유: 위장한 적을 알아보는 능력)
3. 오염된 데이터 견디기 (Corruption Robustness): 사진이 흐릿하거나, 색이 바래거나, JPEG 압축으로 깨져도 알아맞히는 능력. (비유: 비 오는 날이나 안개 낀 날에도 길을 찾는 능력)
4. 낯선 환경 적응 (OOD Robustness): 훈련할 때 본 적 없는 새로운 스타일의 사진 (예: 스케치, 만화) 을 봐도 알아맞히는 능력. (비유: 교과서 밖의 실전 문제를 푸는 능력)
5. 자신감 조절 (Calibration): "내가 80% 확신한다"고 했을 때 실제로 80% 맞아야 함. (비유: 자신의 실력을 정확히 아는 겸손한 학생)
6. 공정성 (Class Balance): 모든 종류의 고양이/개를 골고루 잘 맞추는 능력. (비유: 특정 학생만 우대하지 않는 공정한 선생님)
7. 본질 파악 (Object Focus): 배경이 바뀌어도 물체 자체를 인식하는 능력. (비유: 배경이 바뀐 사진에서도 '고양이'라는 본질을 보는 능력)
8. 형태 인식 (Shape Bias): 질감 (털) 보다는 모양 (귀, 꼬리) 으로 사물을 구분하는 능력. (비유: 털만 보고 '고양이'라고 하지 않고, 귀 모양을 보고 판단하는 능력)
9. 효율성 (Parameters): 모델을 만드는 데 필요한 '뇌세포' (파라미터) 수. (비유: 똑똑하면서도 머리가 작아 에너지가 덜 드는 능력)

3. 주요 발견: "무엇이 AI 를 더 똑똑하게 만드는가?"

326 개의 모델을 실험해 보니 놀라운 결과들이 나왔습니다.

• 데이터 양이 생명이다: 더 많은 데이터 (ImageNet-21k 등) 로 학습한 모델이 거의 모든 면에서 더 잘했습니다. (비유: 더 많은 책을 읽은 학생이 더 폭넓은 지식을 가짐)
• 스스로 배우는 힘 (Self-Supervised Learning): 사람이 직접 라벨을 붙이지 않고, AI 가 스스로 데이터를 분석하며 학습한 뒤, 마지막에 조금만 가르쳐주는 방식이 가장 효과적이었습니다. (비유: 스스로 독학한 뒤 약간의 코칭을 받은 학생이 가장 성장함)
• 비주얼 - 언어 모델 (ViL) 의 위력: 이미지뿐만 아니라 '텍스트'도 함께 학습한 모델 (예: CLIP) 은 특히 공정성과 낯선 환경 적응 능력이 압도적으로 좋았습니다. (비유: 그림뿐만 아니라 설명서도 함께 읽은 학생은 상황 파악이 빠름)
• 전통적인 CNN vs 최신 트랜스포머: 과거의 주류였던 CNN(합성곱 신경망) 보다 최신의 트랜스포머 (Transformer) 구조가 거의 모든 면에서 더 잘했습니다.

4. 새로운 점수표: "QUBA 점수"

연구진은 이 복잡한 9 가지 능력을 하나로 합쳐서 **"QUBA 점수 (Quality Understanding Beyond Accuracy)"**라는 새로운 점수표를 만들었습니다.

• 기존 방식: "정확도 90% 인 모델이 최고야!"
• QUBA 방식: "정확도는 85% 이지만, 공격에도 강하고, 공정하며, 효율적인 모델이 진짜 최고야!"

이 점수표를 통해 연구진은 EVA02-B/14, Hiera-B-Plus 같은 모델들이 가장 균형 잡힌 '잘 behaving' 모델임을 발견했습니다. 반면, 여전히 많이 쓰이는 ResNet50이나 ViT-B/16 같은 유명 모델들은 이 새로운 기준에서는 생각보다 성적이 낮았습니다.

5. 결론: "우리는 어떤 AI 를 원할까?"

이 논문은 우리에게 중요한 질문을 던집니다.

"우리가 정말로 원하는 것은 '시험 점수 100 점'만 받는 AI 일까요, 아니면 '실제 세상에서 안전하게, 공정하게, 똑똑하게' 일하는 AI 일까요?"

연구진은 이제부터 AI 를 개발할 때 정확도 하나만 쫓지 말고, 이 9 가지 능력을 모두 고려해서 모델을 설계하자고 제안합니다. 마치 학생을 선발할 때 수학 점수만 보지 않고, 인성, 체력, 창의성까지 종합적으로 평가하는 것과 같습니다.

한 줄 요약:
"정답만 맞추는 AI 는 이제 그만! 안전하고, 공정하며, 똑똑한 AI를 만들기 위해 정확도 외의 9 가지 능력을 함께 평가하는 새로운 기준을 제시했습니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 현재의 한계: 딥러닝 모델 (DNN) 은 ImageNet 등의 벤치마크에서 높은 정확도를 기록하고 있지만, 강건성 (Robustness), 보정 (Calibration), 공정성 (Fairness) 등 다른 중요한 품질 차원에서는 결함이 있는 경우가 많습니다.
• 연구의 공백: 기존 연구들은 이러한 품질 차원들 중 일부만 개별적으로 연구하거나, 정확도와 보정 간의 관계 등 소수의 차원 간 상관관계만 탐구했습니다. 그러나 여러 품질 차원을 동시에 고려하여 모델의 전반적인 '잘 동작함 (Well-behavedness)'을 평가하고, 서로 간의 trade-off 나 상관관계를 규명한 연구는 부재했습니다.
• 목표: 이미지 분류 모델의 9 가지 품질 차원을 동시에 분석하고, 다양한 학습 전략과 아키텍처가 각 차원에 미치는 영향을 규명하여, 사용자의 요구에 맞는 최적의 모델을 추천하는 체계를 구축하는 것입니다.

2. 방법론 (Methodology)

이 연구는 **326 개의 백본 모델 (Backbone Models)**을 대상으로 대규모 벤치마크를 수행했습니다.

A. 평가된 9 가지 품질 차원 (Quality Dimensions)

논문은 다음 9 가지 지표를 정의하고 측정했습니다 (표 1 참조):

1. 정확도 (Accuracy): 깨끗한 이미지 분류 정확도.
2. 적대적 강건성 (Adversarial Robustness): FGSM 및 PGD 공격 후의 정확도 (클린 정확도 대비).
3. 오류 강건성 (Corruption Robustness, C-Robustness): JPEG 압축, 노이즈 등 일반적인 이미지 왜곡에 대한 강건성 (ImageNet-C).
4. OOD 강건성 (OOD Robustness): 도메인 외 (Out-of-Distribution) 데이터에 대한 일반화 능력 (ImageNet-R, Sketch 등).
5. 보정 오차 (Calibration Error): 모델의 예측 확신도 (Confidence) 와 실제 정확도의 불일치 정도 (ECE, ACE).
6. 클래스 균형 (Class Balance): 각 클래스별 정확도와 평균 확신의 표준편차 (공정성 지표).
7. 객체 집중도 (Object Focus): 배경이 아닌 전경 (객체) 에 기반한 의사결정 비율.
8. 형태 편향 (Shape Bias): 질감 (Texture) 이 아닌 형태 (Shape) 에 기반한 의사결정 비율.
9. 파라미터 수 (Parameters): 모델의 크기 및 계산 비용 (하드웨어 독립적 지표).

B. 실험 설정

• 데이터셋: ImageNet-1k 분류 태스크를 기준으로 하되, 추가 파인튜닝 없이 평가 가능한 프로토콜을 사용.
• 모델 범위: CNN, Transformer, Vision-Language (ViL) 모델, B-cos 모델 등 다양한 아키텍처와 학습 전략 (지도학습, 자기지도학습, 반지도학습, 적대적 학습 등) 을 포함하는 326 개 모델.
• 새로운 지표 개발: 여러 차원을 종합적으로 평가하기 위해 **QUBA 점수 (Quality Understanding Beyond Accuracy)**를 제안했습니다. 이는 각 품질 지표를 정규화하여 가중 평균한 값으로, 사용자의 요구에 따라 가중치를 조정할 수 있습니다.

3. 주요 기여 (Key Contributions)

1. 대규모 벤치마크: ImageNet-1k 분류를 수행하는 326 개의 모델을 대상으로 9 가지 품질 차원을 동시에 평가하는 최초의 포괄적인 벤치마크를 제시했습니다.
2. 학습 전략 및 아키텍처 분석: 다양한 학습 방법 (자기지도학습, 반지도학습, 학습 데이터 크기 등) 과 모델 구조가 품질 차원에 미치는 영향을 정량적으로 분석했습니다.
3. 품질 차원 간 상관관계 규명: 9 가지 차원 간의 스피어만 순위 상관관계를 분석하여 기존 연구의 상반된 결론을 해소하고 새로운 통찰을 제공했습니다.
4. QUBA 점수 제안: 단일 모델이 모든 면에서 우수할 수 없음을 인정하고, 사용자의 우선순위에 따라 모델을 랭킹하는 새로운 메트릭을 도입했습니다.

4. 주요 결과 및 통찰 (Key Results & Insights)

A. 학습 전략의 영향

• 학습 데이터 크기: ImageNet-21k 와 같은 대규모 데이터셋으로 학습하면 정확도, 오류 강건성, 보정 등 대부분의 품질 차원이 향상됩니다. (단, Transformer 의 경우 적대적 강건성은 감소하는 경향이 있음)
• 자기지도학습 (Self-Supervised Learning, SSL):
  • E2E Fine-tuning: SSL 로 초기화된 모델을 End-to-End 방식으로 파인튜닝하면 대부분의 품질 차원 (정확도, OOD 강건성, 클래스 균형 등) 이 크게 향상됩니다. 특히 클래스 균형이 개선된 것은 흥미로운 발견입니다.
  • Linear Probing (LP): 단순히 분류층만 학습하는 방식은 대부분의 차원에서 지도학습보다 성능이 낮습니다.
• 적대적 학습 (Adversarial Training): 적대적 강건성과 OOD 강건성, 형태 편향을 개선하지만, 정확도와 클래스 균형은 저하됩니다.
• 비지도/반지도 학습: E2E 파인튜닝된 SSL 모델과 유사한 효과를 보이며, 정확도, 적대적 강건성, 클래스 균형을 개선합니다.

B. 아키텍처의 영향

• Transformer vs. CNN: 최신 Transformer 모델은 CNN 보다 정확도 외의 거의 모든 품질 차원 (강건성, 보정, 클래스 균형 등) 에서 우세한 성능을 보입니다.
• 비전 - 언어 모델 (ViL, 예: CLIP):
  • 장점: OOD 강건성, 클래스 균형, 형태 편향에서 탁월한 성능을 보입니다.
  • 단점: 제로샷 (Zero-shot) 분류 특성상 정확도가 낮고, 파라미터 수가 많으며, 보정 오차가 큽니다.
• B-cos 변환: 해석 가능성은 높일 수 있으나, 대부분의 품질 차원에서 성능이 저하됩니다.

C. 품질 차원 간 상관관계

• 강한 양의 상관관계: 정확도와 클래스 균형, 객체 집중도 (Object Focus) 는 강한 양의 상관관계를 보입니다. 즉, 정확도가 높은 모델은 클래스 간 편차가 적고 객체에 집중하는 경향이 있습니다.
• 약한/부정적 상관관계: 적대적 강건성과 오류/OOD 강건성 사이에는 통계적으로 유의미한 상관관계가 없었습니다 (기존 연구와 상반됨). 보정 오차는 대부분의 차원과 상관관계가 없었으며, 이는 보정 연구의 독립적 중요성을 시사합니다.

D. QUBA 점수 및 추천 모델

• 최상위 모델: EVA02-B/14 (ImageNet-21k, SSL E2E) 가 가장 높은 QUBA 점수를 기록했습니다.
• 경쟁 모델: Hiera-B-Plus, ConvNeXtV2-B 등도 다양한 강점을 보였습니다.
• 인기 모델의 재평가: 널리 사용되는 ResNet50과 ViT-b/16은 QUBA 랭킹에서 하위권 (각각 214 위, 124 위) 에 머물러 있어, 기존 '표준 (Canonical)' 백본 모델들의 재검토가 필요함을 시사합니다.

5. 의의 및 결론 (Significance & Conclusion)

• 패러다임 전환: 딥러닝 모델 평가에 있어 '정확도' 하나에 매몰되지 않고, 강건성, 공정성, 효율성 등을 종합적으로 고려해야 함을 강력히 주장합니다.
• 실용적 가이드: 연구자와 개발자가 특정 응용 분야 (예: 높은 강건성이 필요한 의료 영상, 높은 공정성이 필요한 사회 시스템 등) 에 맞춰 최적의 모델을 선택할 수 있도록 QUBA 점수와 가중치 조정 방식을 제공합니다.
• 향후 연구 방향: 단일 모델이 모든 면에서 완벽할 수는 없으므로, 사용자의 요구사항에 맞는 트레이드오프를 이해하고 설계하는 것이 중요하며, 이 연구는 이를 위한 기초 작업 (Groundwork) 을 제공했습니다.

이 논문은 컴퓨터 비전 커뮤니티가 모델 개발 시 더 포괄적인 품질 지표를 고려하도록 유도하며, 신뢰할 수 있는 AI 시스템 구축을 위한 중요한 이정표가 될 것으로 기대됩니다.