논문 요약: LOW-PASS FILTERING IMPROVES BEHAVIORAL ALIGNMENT OF VISION MODELS (ICLR 2026)

이 논문은 딥러닝 기반 컴퓨터 비전 모델이 인간의 시각적 행동과 얼마나 일치하는지 (Behavioral Alignment) 를 개선하는 방법에 대한 새로운 통찰을 제공합니다. 기존 연구들은 생성적 (Generative) 분류기가 판별적 (Discriminative) 분류기보다 인간과 더 유사한 행동을 보인다고 주장했으나, 저자들은 이 현상의 핵심 원인이 생성적 목적 함수가 아니라 **입력 이미지의 저주파 통과 필터링 (Low-pass filtering)**에 있음을 증명합니다.

1. 문제 정의 (Problem)

딥 신경망 (DNN) 은 컴퓨터 비전 벤치마크에서 뛰어난 성능을 보이지만, 인간의 시각적 행동 (오류 일관성, 형태 편향 등) 을 충분히 모사하지 못합니다.

• 형태 편향 (Shape Bias) 부족: 인간은 모양 (shape) 에 기반하여 물체를 분류하지만, DNN 은 질감 (texture) 에 의존하는 경향이 있습니다.
• 오류 일관성 (Error Consistency) 부족: DNN 과 인간이 동일한 이미지에서 동일한 실수를 하는 비율이 낮습니다.
• 기존 가설의 한계: 최근 연구 (Jaini et al., 2023) 는 생성 모델 (Imagen 등) 이 판별 모델보다 인간과 더 유사한 행동을 보인다고 보고했습니다. 이는 생성적 목적 함수가 인간 시각 시스템의 상향식 (bottom-up) 이 아닌 하향식 (top-down) 예측 코딩을 모사하기 때문일 것이라는 가설이 제기되었습니다.

2. 방법론 (Methodology)

저자들은 Imagen 모델의 높은 인간 유사성이 생성적 목적 때문이 아니라, 입력 이미지를 64x64 픽셀로 축소 (Downscaling) 하는 과정에서 발생하는 저주파 통과 필터링 효과 때문이라고 가설을 세우고 이를 검증했습니다.

• 실험 설계:
  • 테스트 시 저주파 필터링: 훈련 데이터가 아닌 **테스트 시 (Test-time)**에 입력 이미지에 가우시안 블러 (Gaussian Blur) 를 적용하거나, 이미지를 축소 후 다시 원본 크기로 리사이즈하는 방식을 사용했습니다. 이는 Imagen 의 전처리 과정과 유사합니다.
  • 모델: OpenCLIP (ViT-H-14 등) 및 다양한 아키텍처 (ResNet, ViT 등) 를 사용했습니다.
  • 최적 필터 학습: 푸리에 공간 (Fourier space) 에서 인간과의 오류 일관성을 최대화하는 필터를 경사 하강법으로 학습시켰습니다.
  • 인간 시각 시스템 모델링: 인간의 대비 감도 함수 (Contrast Sensitivity Function, CSF) 와 필터의 주파수 스펙트럼을 비교했습니다. 특히 MvH 벤치마크의 짧은 노출 시간 (200ms) 에서 CSF 가 저주파 통과 필터로 근사된다는 점을 고려했습니다.
  • 파레토 프론티어 분석: 오류 일관성 (Error Consistency) 과 OOD 정확도 (OOD Accuracy) 간의 트레이드오프 관계를 분석하여 벤치마크의 이론적 성능 한계 (Pareto Frontier) 를 계산했습니다.

3. 주요 기여 (Key Contributions)

1. 테스트 시 저주파 필터링의 효과 입증: 훈련 시가 아닌 테스트 시에 이미지를 블러하거나 리사이즈하는 것만으로도 DNN 의 행동 정렬 (오류 일관성 및 형태 편향) 이 획기적으로 개선됨을 보였습니다. 이는 생성적 목적 함수가 아닌 단순한 전처리가 핵심임을 의미합니다.
2. Imagen 의 인간 유사성에 대한 대안적 설명: Imagen 의 높은 성능이 생성적 목적 때문이 아니라, 64x64 로 축소되는 저주파 필터링 효과 때문임을 규명했습니다.
3. CSF 근사 이론: 최적의 저주파 필터가 인간의 시각 시스템 (특히 짧은 노출 시간에서의 CSF) 과 유사한 주파수 특성을 가진다는 것을 증명했습니다. 즉, 필터링이 DNN 의 입력을 인간의 시각 피질이 받아들이는 입력과 유사하게 만들어주기 때문입니다.
4. 벤치마크 한계 (Pareto Frontier) 규명: MvH 벤치마크에서 OOD 정확도와 오류 일관성 사이의 내재된 트레이드오프를 분석하고, 모든 가능한 파레토 최적 해의 프론티어를 계산하여 벤치마크가 아직 포화 상태가 아니며 추가 개선 가능성이 있음을 보였습니다.

4. 결과 (Results)

• 성능 향상: OpenCLIP ViT-H-14 모델에 테스트 시 저주파 필터 (σ=2.5) 를 적용한 결과, 오류 일관성 (Error Consistency) 이 0.28 에서 0.37 로 상승했습니다. 이는 기존 최고 기록이었던 Imagen (0.31) 을 능가하며, 인간 - DNN 간 격차를 절반으로 줄인 것입니다.
• 형태 편향 (Shape Bias): 필터링을 적용한 모델의 형태 편향은 0.60 에서 0.96 으로 크게 증가하여 인간 (0.96) 에 근접했습니다.
• 일반화: 이 효과는 OpenCLIP 모델뿐만 아니라 ResNet, SWSL, BiT-M 등 다양한 모델에서 일관되게 관찰되었습니다.
• 최적 필터: 학습된 최적 필터는 명확한 저주파 통과 필터 형태를 띠었으며, 가우시안 필터 (σ ≈ 2.5px) 가 인간 CSF 를 가장 잘 근사하는 것을 확인했습니다.
• 정확도 - 일관성 트레이드오프: 오류 일관성을 극대화하려면 OOD 정확도가 약간 감소해야 함이 관찰되었습니다. 인간과 동일한 정확도 수준을 유지할 때 최대 오류 일관성을 달성할 수 있습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 생성적 모델의 불필요성: 인간과 유사한 시각 행동을 얻기 위해 반드시 생성적 (Generative) 모델이나 복잡한 목적 함수가 필요하지 않을 수 있음을 시사합니다. 단순한 입력 전처리 (저주파 필터링) 만으로도 행동 정렬을 크게 개선할 수 있습니다.
• 인간 시각 시스템 모사: DNN 이 인간과 다른 행동 패턴을 보이는 주된 원인 중 하나는 인간 시각 시스템이 광학계와 초기 신경 처리를 통해 고주파 정보를 필터링한다는 점을 모델이 반영하지 못하기 때문일 수 있습니다.
• 향후 연구 방향: 이 연구는 DNN 의 행동 정렬을 개선하기 위해 훈련 데이터의 '시각 식단 (Visual Diet)'을 변경하는 대신, 테스트 시 입력을 인간 시각 시스템에 맞게 조정하는 것이 효과적일 수 있음을 보여줍니다. 또한, MvH 벤치마크의 이론적 한계를 규명함으로써 향후 연구의 방향성을 제시했습니다.

요약하자면, 이 논문은 **"고해상도 이미지를 저주파 필터링하여 인간의 시각적 입력 특성에 맞추는 것"**이 딥러닝 모델의 인간 행동 정렬을 개선하는 가장 효과적이고 간단한 방법임을 증명했습니다.