On the Reliability of Cue Conflict and Beyond

이 논문은 기존 cue-conflict 벤치마크의 불안정성과 모호성을 지적하고, 명확한 정의와 전체 라벨 공간에 걸친 평가 메커니즘을 통해 모양과 질감 편향을 더 신뢰성 있게 진단할 수 있는 새로운 프레임워크인 REFINED-BIAS 를 제안합니다.

핵심

이 논문은 **"인공지능 (AI) 이 사물을 볼 때, 우리 인간처럼 '모양'을 보고 판단하는지, 아니면 '무늬 (질감)'를 보고 판단하는지"**를 측정하는 방법론에 대한 이야기입니다.

기존에 사용되던 측정 방법이 너무 엉망이라서, 더 정확한 새로운 방법 (REFINED-BIAS) 을 제안한 연구입니다.

이야기를 쉽게 풀어서 설명해 드릴게요.

---

🍎 1. 문제: "과일 바구니" 실험의 함정

예를 들어, AI 에게 **"사과"**를 가르치려 한다고 상상해 보세요.
기존 연구자들은 AI 가 사과의 **모양 (둥글고 붉은 외형)**을 보고 알아보는지, 아니면 **무늬 (사과 특유의 점박이나 광택)**를 보고 알아보는지 확인하기 위해 이런 실험을 했습니다.

• 실험 방법: 사과의 모양을 가져다가, 그 위에 호랑이 무늬를 입혀서 AI 에게 보여줍니다.
• 질문: "AI 는 이걸 '사과'라고 할까, '호랑이'라고 할까?"
  • '사과'라고 하면 → 모양을 보고 판단함 (인간처럼 잘함).
  • '호랑이'라고 하면 → 무늬를 보고 판단함 (AI 고유의 버그).

하지만, 이 실험에는 치명적인 결함이 있었습니다.

1. 혼란스러운 그림: 사과 모양에 호랑이 무늬를 입히면, 모양이 너무 흐릿해져서 AI 가 "아, 이건 사과 모양이네"라고 알기 어렵습니다. 마치 모자이크가 너무 심해서 얼굴을 못 알아보는 상황과 같습니다.
2. 불공정한 비교: 어떤 그림은 모양이 너무 뚜렷하고, 어떤 그림은 무늬가 너무 선명해서 공평하게 비교할 수 없었습니다. (예: 모양은 흐릿한데 무늬는 선명한 그림 vs 모양은 선명한데 무늬는 흐릿한 그림)
3. 잘못된 결론: AI 가 "사과"라고 대답했다고 해서, 진짜 모양을 보고 한 말인지, 아니면 무늬가 호랑이랑 비슷해서 "호랑이"라고 대답했다가 실수로 "사과"가 된 건지 구분이 안 갔습니다.

결국, 기존 실험은 **"AI 가 모양을 더 잘 보는지"**에 대해 서로 다른 결론을 내리게 만들었고, 연구자들 사이에서 "AI 는 모양을 본다", "아니야, 무늬를 본다"라는 말만 반복되게 했습니다.

---

🛠️ 2. 해결책: "REFINED-BIAS" (더 정제된 측정 도구)

이 논문은 **"그럼 제대로 된 실험을 해보자!"**라고 말하며 새로운 도구 (REFINED-BIAS) 를 만들었습니다.

🎨 새로운 실험실 (데이터셋)

• 순수한 재료: 사과의 모양은 **순수한 실루엣 (검은색 실루엣)**으로, 호랑이의 무늬는 **순수한 천 조각 (무늬만)**으로 분리했습니다.
• 인간도 AI 도 알아보는 그림: 사람이 봐도 "아, 이건 사과 모양이야", "아, 이건 호랑이 무늬야"라고 명확히 알 수 있도록 만들었습니다.
• 공정한 배분: 모양과 무늬의 정보량이 똑같이 중요하도록 균형을 맞췄습니다.

📏 새로운 측정기 (지표)

• 기존: "정답 중 모양을 맞춘 비율 / 무늬를 맞춘 비율"만 계산했습니다. (비율만 보면, 둘 다 못 맞추는데 비율이 비슷할 수 있어 함정이 있었습니다.)
• 새로운: AI 가 전체 정답 후보 목록에서 모양과 무늬를 얼마나 높은 순위로 꼽았는지 확인합니다.
  • 비유: 시험에서 100 점 만점에 1 점만 맞췄다고 해서 "성적이 나쁘다"고만 보는 게 아니라, **"어떤 문제를 얼마나 잘 풀었는지"**까지 자세히 보는 것입니다.

---

🚀 3. 새로운 발견: 무엇이 달라졌을까?

이 새로운 도구로 다시 실험을 해보니 놀라운 사실들이 드러났습니다.

1. 진짜 실력이 드러났다: 기존 방법으로는 "AI 가 모양을 더 잘 본다"는 결론이 나오지 않았는데, 새로운 방법으로는 모양을 잘 보는 AI 일수록 실제 시험 (이미지 인식) 점수도 더 높았다는 것이 명확해졌습니다.
2. 모양과 무늬는 둘 다 필요하다: AI 가 모양만 보고 무늬를 무시하거나, 무늬만 보고 모양을 무시하는 게 아니라, 두 가지를 모두 잘 활용하는 AI가 가장 똑똑하다는 것을 확인했습니다.
3. 모델의 성향 파악: 어떤 AI 는 모양을 잘 보고, 어떤 AI 는 무늬를 잘 보는지, 정확하게 진단할 수 있게 되었습니다.

---

💡 4. 핵심 요약 (한 줄 결론)

"기존에 AI 의 '눈'을 측정하던 자는 구멍이 숭숭 뚫려 있어서 정확한 측정이 안 됐습니다. 우리는 이제 구멍을 막고 눈금을 정확하게 새긴 새로운 자 (REFINED-BIAS) 를 만들어, AI 가 진짜로 인간처럼 '모양'을 보고 생각하는지 정확히 알 수 있게 되었습니다."

이 연구를 통해 우리는 AI 가 어떻게 세상을 보고 있는지 더 명확하게 이해하게 되었고, 더 똑똑하고 인간과 유사한 AI 를 만드는 데 중요한 길잡이가 되었습니다.

기술 요약

1. 연구 배경 및 문제 제기 (Problem)

기존의 컴퓨터 비전 모델이 인간의 시각적 지각과 유사하게 '형태 (Shape)'와 '질감 (Texture)' 중 어떤 단서에 더 의존하는지 분석하기 위해 Cue-Conflict 벤치마크가 널리 사용되어 왔습니다. 이 벤치마크는 한 클래스의 형태와 다른 클래스의 질감을 결합한 스타일라이즈드 (stylized) 이미지를 사용하여 모델의 편향을 측정합니다.

그러나 저자들은 기존 Cue-Conflict 벤치마크가 신뢰할 수 없는 편향 추정치를 산출한다고 지적하며 다음과 같은 근본적인 한계를 제기합니다.

• 단서의 불완전한 분리 (Cue Entanglement): 스타일라이제이션 기법은 형태와 질감 정보를 완전히 분리하지 못합니다. 질감 단서에도 형태의 구조적 정보가 유출되거나 (leakage), 반대의 경우에도 발생하여 인간과 모델 모두에게 지각적으로 명확하지 않은 이미지를 생성합니다.
• 정보의 불균형 (Information Imbalance): 스타일라이제이션 과정에서 형태와 질감의 상대적 정보량 (informativeness) 이 통제되지 않아, 한쪽 단서가 다른 쪽보다 압도적으로 강해지거나 약해질 수 있습니다. 이는 편향 측정을 왜곡시킵니다.
• 상대적 편향 지표의 한계 (Obscured Sensitivity): 기존 지표는 정답한 형태/질감 예측의 비율 (ratio) 만을 계산합니다. 이는 절대적인 단서 민감도 (sensitivity) 를 무시하여, 실제로는 두 단서 모두를 거의 인식하지 못하는 모델과 두 단서 모두를 잘 인식하는 모델을 동일한 편향 수준으로 오인하게 만듭니다.
• 제한된 클래스 평가 (Restricted Label Evaluation): 평가 시 사전에 정의된 소수의 클래스 (형태/질감 소스 클래스) 로만 제한하여 모델의 전체 결정 공간 (full decision space) 을 무시합니다. 이로 인해 모델의 실제 예측이 왜곡되고, 잘못된 단서 의존성으로 오해될 수 있습니다.

2. 제안 방법: REFINED-BIAS (Methodology)

저자들은 위 문제들을 해결하기 위해 REFINED-BIAS라는 통합된 데이터셋 및 평가 프레임워크를 제안합니다.

A. 정제된 단서 구성 (Refined Cue Construction)

• 인간 지각 기반 정의: 모델 의존적 특징이 아닌 인간 지각 기준에 따라 형태와 질감을 정의합니다.
  • 형태 (Shape): 전역적 (실루엣) 및 국소적 (구조적 에지) 으로 일관된 기하학적 구조.
  • 질감 (Texture): 다양한 패치 크기에 걸쳐 일관되게 반복되는 패턴.
• 데이터셋 구축: ImageNet 의 20 개 슈퍼클래스 (10 개 형태 우세, 10 개 질감 우세) 를 인간 평가자를 통해 선별하고, 각 클래스당 300 개의 고품질 이미지를 수집하여 총 6,000 개의 이미지를 구성했습니다.
• 정제 파이프라인:
  • 형태 단서: 객체 분할 후 내부 질감을 블러 처리하고, 윤곽선 (contour) 만 추출하여 배경 노이즈를 제거합니다.
  • 질감 단서: 객체 내부에서 구조적 정보가 제거된 패치를 추출하고 재배열하여 순수한 질감 패턴만 남깁니다.
• 효과: 인간과 모델 모두에게 명확하게 인식 가능하고, 형태와 질감 간의 정보 불균형을 최소화한 균일한 단서 쌍을 제공합니다.

B. 새로운 편향 및 민감도 지표 (Redefined Metric)

기존의 비율 기반 편향 지표 대신 전체 로짓 (Full Logits) 공간에서 작동하는 새로운 지표를 도입합니다.

• 평균 역순위 (Mean Reciprocal Rank, MRR) 기반 민감도:
  • 모델이 정답인 형태/질감 라벨을 전체 예측 순위에서 몇 번째로 예측했는지를 기반으로 Shape-Sens와 Texture-Sens를 계산합니다.
  • 이는 모델이 단서를 얼마나 '강하게' 인식하는지 (절대적 민감도) 를 반영하며, 2 위와 100 위 예측을 구분하여 더 정밀한 평가를 가능하게 합니다.
• 재정의된 편향 (Redefined Bias):
  • 계산된 민감도 값을 기반으로 상대적 선호도 (Preference) 를 산출합니다.
  • 이를 통해 "어떤 단서를 선호하는가"와 "단서를 얼마나 잘 인식하는가"를 분리하여 평가할 수 있습니다.

3. 주요 실험 결과 (Results)

다양한 아키텍처 (CNN, ViT, Swin, CMT 등) 와 학습 전략 (형태 증강, 대비 학습, 텍스처 왜곡, 적대적 학습 등) 을 가진 32 개의 모델을 REFINED-BIAS 와 기존 Cue-Conflict 벤치마크에 적용하여 비교했습니다.

• 학습 전략의 정확한 반영:
  • REFINED-BIAS 는 형태 중심 학습 전략 (Shape Augmentation 등) 이 적용된 모델에서 형태 편향이 유의미하게 증가함을 정확히 포착했습니다.
  • 반면, 기존 Cue-Conflict 는 통계적으로 유의하지 않거나 일관되지 않은 경향을 보였습니다. 특히 적대적 학습 (Adversarial Training) 의 경우, 기존 벤치마크는 형태 편향 증가를 잘못 보고했으나 REFINED-BIAS 는 편향 변화가 없음을 올바르게 식별했습니다.
• 모델 아키텍처와 단서 활용:
  • ViT vs CNN: ViT 는 전역적 맥락에 강점이 있으나 국소적 특징 인식에 약한 것으로 알려져 있습니다. REFINED-BIAS 는 Swin Transformer 와 CMT 와 같이 '국소 - 전역 (Local-to-Global)' 메커니즘을 도입한 모델이 순수 ViT 보다 **형태 민감도 (Shape-Sens)**가 유의미하게 높음을 발견했습니다. 기존 벤치마크는 이러한 아키텍처적 이점을 포착하지 못했습니다.
• 성능과 편향의 상관관계:
  • 기존 연구들은 형태 편향이 성능을 높이는지 질감 편향이 높이는지에 대해 상반된 결론을 내렸습니다. REFINED-BIAS 를 통해 형태와 질감 단서를 모두 균형 있게 활용하는 모델이 도메인 내 (In-domain) 성능이 가장 높음을 일관되게 증명했습니다.
  • 민감도 지표를 사용하면 단순히 비율만 보는 것보다 모델이 실제로 단서를 얼마나 효과적으로 활용하는지 더 명확히 파악할 수 있었습니다.

4. 주요 기여 및 의의 (Contributions & Significance)

1. 신뢰할 수 있는 편향 진단 프레임워크: 기존 Cue-Conflict 의 스타일라이제이션으로 인한 아티팩트 (불완전한 분리, 정보 불균형, 인식 난이도) 를 해결하고, 인간과 모델 모두에게 명확한 단서를 제공하는 대규모 데이터셋을 공개했습니다.
2. 정밀한 평가 지표: 상대적 비율만 보는 기존 방식의 한계를 극복하고, 절대적 민감도와 선호도를 분리하여 측정하는 새로운 지표를 제안했습니다. 이를 통해 모델 간 공정한 비교가 가능해졌습니다.
3. 일관된 실증적 결론: 다양한 학습 전략과 아키텍처에 대해 일관된 결론을 도출하여, "형태 편향이 인간과 유사한 지각을 반영하며 성능 향상과 연관된다"는 기존 가설을 더욱 확고히 했습니다. 동시에, 국소 - 전역 메커니즘이 형태 이해에 어떻게 기여하는지 등 새로운 통찰을 제공했습니다.
4. 미래 연구의 기준 마련: 컴퓨터 비전 모델의 내부 의사결정 과정을 인간 지각 관점에서 해석하고, 더 인간과 유사한 시스템을 개발하기 위한 신뢰성 있는 벤치마크 표준을 제시했습니다.

결론

이 논문은 기존 Cue-Conflict 벤치마크의 방법론적 결함을 비판적으로 분석하고, 이를 해결하기 위해 REFINED-BIAS를 제안함으로써 신경망의 형태/질감 편향 분석을 더욱 신뢰성 있고 해석 가능한 수준으로 끌어올렸습니다. 이는 모델의 편향을 진단하고 개선하는 데 있어 필수적인 도구로 자리 잡을 것으로 기대됩니다.