🧬 biology

Directional Confusions Reveal Divergent Inductive Biases Through Rate-Distortion Geometry in Human and Machine Vision

이 논문은 정확도만으로는 포착할 수 없는 인간과 기계 비전 모델의 고유한 유도를성 편향을, 혼동 행렬의 방향적 오류 비대칭성과 속도 - 왜곡 (Rate-Distortion) 기하학적 서명을 통해 규명하고, 이를 통해 두 시스템의 일반화 특성이 근본적으로 다르다는 것을 보여줍니다.

원저자: Leyla Roksan Caglar, Pedro A. M. Mediano, Baihan Lin

게시일 2026-04-24

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Leyla Roksan Caglar, Pedro A. M. Mediano, Baihan Lin

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ⚕️ 이것은 동료 심사를 거치지 않은 프리프린트의 AI 생성 설명입니다. 의학적 조언이 아닙니다. 이 내용을 바탕으로 건강 관련 결정을 내리지 마세요. 전체 면책 조항 읽기

이 논문은 **"사람과 인공지능 (AI) 이 똑같은 문제를 풀 때, 왜 서로 다른 실수를 하는가?"**에 대한 흥미로운 질문에서 시작합니다.

기존에는 "정답을 몇 개 맞췄는지 (정확도)"만 보며 AI 를 평가했습니다. 하지만 이 논문은 **"어떤 것을 무엇으로 잘못 알고 있는가?"**라는 실수의 방향과 패턴을 분석하면, 사람과 AI 의 뇌 (또는 학습 방식) 가 근본적으로 어떻게 다른지 알 수 있다고 말합니다.

이 복잡한 내용을 일상적인 비유로 쉽게 설명해 드릴게요.

1. 핵심 비유: "실수 지도"와 "나침반"

상상해 보세요. 두 명의 탐험가 (사람과 AI) 가 낯선 숲 (새로운 상황) 을 헤매고 있습니다. 둘 다 목적지에 도착하는 데 성공했습니다. 하지만 길 잃은 방식이 다릅니다.

사람의 실수 (넓고 약한 나침반):
사람은 길을 잃을 때, "저기 저 나무가 소나무인가? 아님 전나무인가?" 하며 많은 나무 종류 사이에서 조금씩 헷갈립니다. 실수가 여러 곳에 퍼져 있지만, 각각의 실수는 크지 않습니다. 마치 나침반이 약간 흔들리지만, 모든 방향을 골고루 살피는 것과 같습니다.
- 핵심: 실수가 분산 (Broad) 되어 있고, 강도는 약 (Weak) 합니다.
AI 의 실수 (좁고 강한 나침반):
AI 는 길을 잃을 때, "저건 무조건 '소나무'야!"라고 한 가지 종류 (예: 라브라도 리트리터) 로만 몰아붙입니다. 다양한 개 종류가 다 '라브라도'로 잘못 분류되거나, 무늬가 비슷한 것만 보고 '얼룩말'이라고 단정 짓습니다. 실수는 드물게 일어나지만, 한 번 일어나면 엄청나게 강력하게 (Strong) 특정 방향으로 쏠립니다.
- 핵심: 실수가 집중 (Sink-like) 되어 있고, 강도는 강 (Strong) 합니다.

2. 왜 이 차이가 중요할까요? (정확도는 똑같은데...)

논문은 흥미로운 사실을 발견했습니다. 정확도 (얼마나 많이 맞췄는지) 는 사람과 AI 가 비슷할 수 있습니다. 하지만 그 이면의 실수 패턴은 완전히 다릅니다.

비유: 두 명의 요리사가 같은 점수를 받았다고 가정해 봅시다.
- 사람 요리사: 소금, 후추, 설탕을 조금씩 골고루 덜 넣어서 맛이 약간 부족할 수 있지만, 모든 재료를 다 사용했습니다.
- AI 요리사: 소금만 엄청나게 많이 넣고, 다른 건 다 빼버렸습니다. 맛은 비슷할지 모르지만, 그 조리법 (학습 방식) 이 완전히 다릅니다.

이 논문은 "정확도"만 보면 둘이 똑같다고 생각하지만, **"실수 지도 (혼동 행렬)"**를 보면 AI 는 특정 패턴에 너무 의존하고 있다는 것을 발견합니다.

3. '정보의 효율성'과 '지형도' (Rate-Distortion Geometry)

논문은 이 실수 패턴을 **'정보와 오차의 교환 (Rate-Distortion)'**이라는 수학적 지형도로 설명합니다.

사람의 지형도 (부드러운 언덕):
사람은 세상의 모든 사물을 연속적인 그라데이션으로 봅니다. "소나무와 전나무는 비슷하지만, 소나무와 바위는 다르다"는 식으로 부드럽게 연결되어 있습니다. 그래서 실수가 넓게 퍼져 있어도, 전체적인 정보 전달 효율은 좋습니다.
AI 의 지형도 (가파른 절벽과 함정):
AI 는 세상의 사물을 몇 개의 거대한 구덩이 (Sink) 로 분류합니다. "이건 소나무 구덩이, 저건 전나무 구덩이"라고 딱 잘라 버립니다. 그래서 실수가 집중되면, 그 구덩이로 모든 것이 빨려 들어가는 가파른 절벽이 생깁니다. 이는 정보 전달 효율을 떨어뜨립니다.

중요한 발견:
AI 에게 "더 튼튼하게 만들어라 (Robustness Training)"라고 가르치면, 전체적인 실수 수는 줄어들어 사람과 비슷해집니다. 하지만 실수의 패턴 (넓게 퍼진 실수 vs 한곳에 쏠린 실수) 은 여전히 사람과 다릅니다. 즉, AI 는 여전히 '구덩이'에 빠지는 방식을 고수하고 있습니다.

4. 결론: 우리가 배워야 할 점

이 논문의 결론은 매우 명확합니다.

"AI 가 사람처럼 똑똑해지려면, 단순히 '정답을 더 많이 맞추는 것'이 아니라, '실수를 사람처럼 넓고 부드럽게 분산시키는 것'을 배워야 한다."

지금까지 우리는 AI 가 사람보다 더 많이 맞출 때만 성공이라고 생각했습니다. 하지만 이 논문은 **"실수의 방향과 패턴"**을 분석해야만 AI 의 진짜 학습 방식 (인덕티브 바이어스) 을 이해할 수 있다고 말합니다.

한 줄 요약:
사람은 **"모든 것을 조금씩 헷갈리는 넓은 실수"**를 하고, AI 는 **"특정 것만 강하게 잘못 아는 좁은 실수"**를 합니다. 이 차이를 이해해야만, AI 가 진짜로 사람처럼 유연하고 안전한 세상을 볼 수 있게 만들 수 있습니다.

1. 연구 배경 및 문제 정의 (Problem)

기존 평가의 한계: 기존 비전 모델 평가는 주로 '정확도 (Accuracy)'나 '혼동 행렬의 집계된 오류'에 집중합니다. 이는 "얼마나 자주 틀리는가"는 알려주지만, **"누가 누구로 잘못 인식되는가 (Who gets mistaken for whom)"**와 **"오류의 방향성 (Directionality)"**은 무시합니다.
방향성 비대칭성: 인지과학에서 인간의 지각은 대칭적이지 않습니다 (예: "로빈이 새보다 새가 로빈보다 더 비슷하다"). 이러한 방향성 혼동은 시스템의 내재된 **유도 편향 (Inductive Bias)**과 표현 구조를 반영하는 지문과 같습니다.
핵심 질문: 정확도와 과업 조건이 동일한 경우, 인간과 인공신경망 (ANN) 은 오류의 방향성 구조에서 체계적인 차이를 보이는가? 그리고 이 구조가 일반화 (Generalization) 기하학과 어떻게 연결되는가?

2. 방법론 (Methodology)

2.1 데이터 및 실험 설정

데이터셋: ImageNet 기반의 16 개 카테고리 분류 과제를 사용했습니다.
변형 (Perturbations): 12 가지 유형의 변형 (색상/회색조, 대비, 필터링, 위상 노이즈, 회전, Eidolon 변형 등) 을 적용하여 분포 외 (OOD) 조건을 생성했습니다.
대상 시스템:
- 인간: 약 83,000 건의 심리 물리학 실험 데이터.
- 모델: GoogLeNet, ResNet-152, VGG-19 등 사전 학습된 CNN 과, 왜곡 훈련 (Distortion-trained), 특수 훈련 (Specialised), 다중 노이즈 훈련 (All-noise) 을 거친 다양한 강건성 (Robustness) 모델.

2.2 분석 프레임워크: 속도 - 왜곡 (Rate-Distortion, RD) 이론

효율적 채널 모델링: 각 시스템의 혼동 행렬을 '잡음 있는 통신 채널'로 간주합니다.
비대칭성 처리: 기존 RD 프레임워크는 대칭적 유사성을 가정하지만, 이 연구는 비대칭 혼동 행렬을 직접 처리할 수 있도록 확장했습니다.
RD 프런티어 (Frontier) 추정:
- 최대 사후 확률 (MAP) 추정을 통해 잠재적 왜곡 행렬 (Distortion Matrix) 을 추정합니다.
- 블라후트 - 아리모토 (Blahut-Arimoto) 알고리즘을 사용하여 최적 채널을 계산하고 RD 프런티어를 추적합니다.
3 가지 기하학적 서명 (Geometric Signatures):
1. 기울기 (Slope, $\beta$ ): 오류 감소에 필요한 정보의 한계 비용 (마진).
2. 곡률 (Curvature, $\kappa$ ): 운영 점 (operating points) 간 정보 - 오류 트레이드오프의 비균일성 정도.
3. 효율 (Efficiency, AUC): 전체 RD 곡선 아래의 면적 (전체 작동 영역에서의 효율성 요약).

2.3 비대칭성 지표 정의

전역 비대칭성 (Frobenius Antisymmetry): 행렬의 비대칭 정도를 측정.
방향성 구조 분해:
- 폭 (Breadth, $f_{pairs}$ ): 비대칭을 보이는 클래스 쌍의 비율 (얼마나 많은 쌍에서 오류가 발생하는가).
- 강도 (Strength, $\bar{\Delta}$ ): 비대칭 쌍 간의 평균 편향 크기 (오류가 얼마나 심각한가).

3. 주요 결과 (Key Results)

3.1 인간과 ANN 의 이분법적 비대칭성 구조

인간: 넓지만 약한 (Broad but Weak) 비대칭성. 많은 클래스 쌍에서 약한 방향성 편향이 분산되어 나타납니다.
ANN: 희소하지만 강한 (Sparse but Strong) 방향성 붕괴. 소수의 '싱크 (Sink)' 클래스로 오류가 집중되는 강한 일방향 붕괴가 발생합니다 (예: 다양한 개 품종이 '래브라도'로만 분류됨).
정확도와의 독립성: 정확도가 유사한 그룹들 사이에서도 이 구조적 차이는 유지됩니다. 즉, 정확도만으로는 인간과 모델의 오류 패턴을 구분할 수 없습니다.

3.2 RD 기하학과의 연관성

비대칭성 조직과 RD 효율성:
- 인간 (넓음 - 약함): 비대칭성이 증가해도 RD 효율성 (AUC) 이 크게 저하되지 않거나, 특정 regimes 에서는 오히려 효율적인 정보 처리를 유지합니다.
- ANN (희소함 - 강함): 비대칭성이 증가할수록 RD 프런티어가 붕괴되어 효율성이 급격히 떨어집니다.
정확도 통제 분석: 정확도를 통제했을 때에도, 비대칭성의 '조직 방식 (폭 vs 강도)'이 RD 기하학 ( $\beta, \kappa, AUC$ ) 에 독립적인 영향을 미친다는 것이 확인되었습니다. 특히 **강도 (Strength)**가 높은 ANN 모델들은 정확도가 비슷하더라도 인간보다 훨씬 비효율적인 일반화 기하학을 보입니다.

3.3 강건성 훈련 (Robustness Training) 의 한계

강건성 훈련을 거친 모델들은 전역 비대칭성 수치를 인간 수준으로 낮출 수 있습니다.
그러나 훈련된 모델들은 여전히 인간과 같은 '넓음 - 약함' (Broad-weak) 프로필을 회복하지 못합니다. 이는 단순한 스칼라 지표 (전체 비대칭성 수치) 로는 모델이 인간과 정렬되었는지 판단하기 어렵다는 것을 의미합니다.

3.4 기계적 시뮬레이션 (Mechanistic Simulation)

시뮬레이션 설계: '넓음 - 약함 (Broad-weak)'과 '싱크형 (Sink-like)' 두 가지 비대칭성 생성기를 설계하여 RD 기하학에 미치는 영향을 비교했습니다.
결과: 동일한 비대칭성 강도 증가라도, **분산된 구조 (Broad-weak)**는 RD 프런티어를 확장 (효율성 향상) 시키는 반면, **집중된 구조 (Sink-like)**는 프런티어를 붕괴 (효율성 저하) 시킵니다. 이는 정확도와 무관하게 비대칭성의 '조직 방식'이 일반화 능력을 결정한다는 것을 기계적으로 증명합니다.

4. 기여 및 의의 (Significance)

새로운 평가 지표 제안: 단순 정확도나 집계된 오류를 넘어, **방향성 혼동의 구조 (폭과 강도)**와 RD 기하학을 결합한 새로운 평가 패러다임을 제시했습니다.
유도 편향의 정량화: 인간과 기계가 서로 다른 '우선순위 (Priors)'를 가지고 있음을 보여줍니다. 인간은 유사성 공간에서 분산된 그라데이션을, 기계는 소수의 지배적 결정 경계 (Attractor states) 에 의존합니다.
강건성 훈련의 한계와 방향 제시: 현재의 강건성 훈련은 오류의 '양'을 줄일 수는 있지만, 오류의 '질적 구조'를 인간처럼 재구성하지는 못합니다.
실제 적용 가능성: 향후 모델 훈련 시, '싱크형 붕괴'를 방지하고 '분산된 약한 오류'를 유도하는 정규화 항 (Regularization term) 을 도입하여, 정확도뿐만 아니라 인간과 유사한 일반화 기하학을 가진 모델을 개발할 수 있는 이론적 토대를 마련했습니다.

결론

이 연구는 **방향성 혼동 (Directional Confusions)**이 단순한 노이즈가 아니라, 시스템의 내재된 유도 편향과 일반화 능력을 드러내는 핵심 지표임을 증명했습니다. 특히, **비대칭성의 '조직 방식 (Organization)'**이 정확도와 무관하게 시스템의 RD 기하학을 결정한다는 점은, 향후 인간과 유사한 강건한 AI 를 개발하기 위해 오류의 구조를 재설계해야 함을 시사합니다.