Through BrokenEyes: How Eye Disorders Impact Face Detection?

이 논문은 BrokenEyes 시스템을 활용하여 다섯 가지 주요 안과 질환이 딥러닝 모델의 특징 표현에 미치는 영향을 시뮬레이션하고, 활성화 에너지 및 코사인 유사도 등의 지표를 통해 질환별 시각 왜곡이 신경 처리에 어떻게 영향을 주는지 분석했습니다.

핵심

🧐 핵심 주제: "부러진 안경 (BrokenEyes) 을 끼고 세상을 보면?"

이 연구의 주인공은 **'BrokenEyes(부러진 눈)'**라는 가상의 시스템입니다. 이 시스템은 컴퓨터가 보는 화면에 마치 실제 눈병이 걸린 것처럼 효과를 입혀줍니다. 마치 우리가 안경을 끼고 사진을 찍거나, 유리창에 안개가 끼거나, 구멍이 뚫린 것처럼 보게 만드는 거죠.

연구진은 이 시스템을 통해 **5 가지 대표적인 눈병 (노안, 백내장, 녹내장, 시력 교정 불량, 당뇨망막병증)**을 시뮬레이션했고, AI 가 이 '뭉개진' 이미지를 보고도 얼굴을 잘 찾아낼 수 있는지, 그리고 AI 의 '뇌' 내부에서 어떤 변화가 일어나는지 관찰했습니다.

🎭 실험 과정: AI 의 뇌를 해부하다

1. 준비물: AI 모델 (ResNet18) 이라는 '초능력의 눈'을 준비했습니다. 이 AI 는 평소에는 사람과 사물을 100% 정확하게 구분합니다.
2. 시나리오: 이 AI 에게 5 가지 다른 '안경'을 씌워줍니다.
   • 녹내장 (Glaucoma): 시야 가장자리가 점점 검게 변해 터널처럼 보이는 상태.
   • 백내장 (Cataract): 안개가 끼어 모든 것이 흐릿하고 색이 바랜 상태.
   • 노안 (AMD): 눈의 정중앙이 까맣게 가려져 중심부가 안 보이는 상태.
   • 시력 교정 불량 (Refractive Error): 초점이 안 맞아 전체가 흐릿한 상태.
   • 당뇨망막병증 (Retinopathy): 시야에 검은 반점이나 얼룩이 여기저기 떠다니는 상태.
3. 측정: AI 가 이 흐릿한 이미지들을 보고 "이건 사람이다!"라고 판단할 때, 그 **판단력 (신뢰도)**과 **뇌 내부의 활동 (특징 맵)**이 어떻게 변하는지 측정했습니다.

🔍 주요 발견: AI 의 뇌도 혼란스러워한다!

연구 결과는 매우 흥미롭습니다. AI 도 인간의 눈병과 똑같은 반응을 보인다는 것입니다.

• 가장 큰 혼란: 백내장과 녹내장

  • 비유: 백내장은 마치 안개 낀 유리창을 통해 보는 것, 녹내장은 터널 안에서 보는 것과 같습니다.
  • 결과: 이 두 가지 상태에서는 AI 가 얼굴을 인식하는 능력이 가장 크게 떨어졌습니다. AI 의 '뇌' 내부에서 신호가 매우 흐트러졌고, "이게 사람인가?"라고 판단하는 데 확신이 부족해졌습니다. 특히 녹내장의 경우, 시야 가장자리 정보가 사라지면서 AI 가 공간감을 잃어 가장 큰 혼란을 겪었습니다.

• 상대적으로 덜한 혼란: 시력 교정 불량과 당뇨망막병증

  • 비유: 시력 교정 불량은 초점이 살짝 안 맞은 상태, 당뇨망막병증은 유리창에 작은 점들이 찍힌 상태입니다.
  • 결과: AI 는 이 정도 정도라면 "아, 초점이 안 맞았구나" 혹은 "점들이 있구나" 하고 어느 정도 적응하며 얼굴을 찾아냈습니다. AI 의 뇌 구조가 여전히 잘 유지되어 있었습니다.

• 중심부 vs 주변부:

  • **노안 (AMD)**은 눈의 정중앙이 안 보이게 하지만, AI 는 주변 시야를 이용해 얼굴을 어느 정도 추론해냈습니다. 마치 중앙이 가려진 사진을 보고도 주변 윤곽으로 얼굴을 유추하는 것과 비슷합니다.

💡 이 연구가 왜 중요한가요?

1. AI 도 눈병을 겪는다: 우리는 AI 가 완벽할 거라고 생각하지만, 입력되는 데이터 (눈에 보이는 것) 가 나쁘면 AI 의 판단도 무너집니다. 이는 인간의 뇌가 눈병으로 인해 어떻게 기능을 잃는지를 이해하는 데 도움을 줍니다.
2. 더 좋은 보조 기구 개발: 이 연구를 통해, 눈이 안 좋은 분들을 위한 AI 보조 앱을 더 똑똑하게 만들 수 있습니다. 예를 들어, 녹내장 환자가 보는 흐릿한 이미지를 AI 가 자동으로 보정해 주거나, 얼굴을 더 잘 인식해 줄 수 있는 기술을 개발할 수 있습니다.
3. 뇌 과학과의 연결: 컴퓨터 모델의 변화가 실제 인간의 뇌 (시각 피질 등) 에서 일어나는 변화와 매우 비슷하게 나타났습니다. 이는 컴퓨터 시뮬레이션이 인간의 신경계를 연구하는 강력한 도구가 될 수 있음을 보여줍니다.

📝 한 줄 요약

"이 연구는 AI 에게 다양한 눈병을 시뮬레이션해 보게 한 결과, '백내장'과 '녹내장' 상태일 때 AI 의 얼굴 인식 능력이 가장 크게 무너진다는 것을 발견했습니다. 이는 AI 를 통해 인간의 눈병이 뇌에 미치는 영향을 이해하고, 더 나은 시각 보조 기술을 개발하는 데 중요한 단서가 됩니다."

기술 요약

1. 연구 배경 및 문제 정의 (Problem)

• 핵심 문제: 얼굴 감지 (Face Detection) 는 인간의 시각 시스템 무결성에 크게 의존합니다. 하지만 전 세계적으로 수백만 명이 안과 질환 (노안, 백내장, 녹내장, 굴절 이상, 당뇨성 망막병증 등) 으로 인해 시각 정보를 왜곡된 상태로 처리하고 있습니다.
• 연구 동기: 이러한 시각 장애가 뇌의 고차원적 신경 처리 (특히 얼굴 인식에 관여하는 FFA 영역) 에 어떻게 영향을 미치는지, 그리고 이를 시뮬레이션한 입력 데이터가 딥러닝 모델의 학습된 특징 표현 (Feature Representations) 을 어떻게 변형시키는지 이해하는 것이 중요합니다.
• 목표: 실제 안과 질환의 시각적 왜곡을 컴퓨테이셔널 (Computational) 하게 시뮬레이션하여, 얼굴 감지 모델의 내부 특징 맵 (Feature Maps) 이 어떻게 붕괴되거나 변형되는지를 정량적으로 분석하는 프레임워크를 개발하는 것.

2. 방법론 (Methodology)

A. 데이터셋 구성

• 데이터 소스: LFW (Labelled Faces in the Wild, 인간 얼굴) 와 MS-COCO 2017(비인간 객체) 데이터를 결합하여 이진 분류 (Human vs. Non-human) 태스크를 구성했습니다.
• 데이터 균형: 각 질환 조건별로 샘플 수를 균일하게 맞추어 (Human: 8,484 개, Non-human: 7,854 개), 편향을 최소화하고 통제된 실험 환경을 조성했습니다.

B. BrokenEyes 필터 생성 프레임워크

논문에서는 5 가지 주요 안과 질환을 시뮬레이션하기 위해 BrokenEyes라는 새로운 필터 생성 시스템을 제안했습니다.

1. 녹내장 (Glaucoma): 중심부는 투명하고 가장자리가 어두워지는 비네팅 (Vignette) 효과로 시야 협소 (Tunnel vision) 시뮬레이션.
2. 굴절 이상 (Refractive Errors): 무작위 가우시안 블러 (Gaussian Blur) 를 적용하여 초점 불명확 (근시, 원시, 난시) 시뮬레이션.
3. 황반변성 (AMD): 중앙에 어두운 반점 (Scotoma) 이 생기고 가장자리로 갈수록 투명해지는 효과를 적용하여 중심 시야 손실 시뮬레이션.
4. 당뇨성 망막병증 (Retinopathy): 이미지 전반에 무작위 검은 타원형 패치를 추가하여 망막 손상 및 시야 내 부유물 시뮬레이션.
5. 백내장 (Cataract): 색상 채도 감소 (Desaturation), 안개 효과 (Haze), 그리고 강한 가우시안 블러를 적용하여 흐릿하고 대비가 낮은 시야 시뮬레이션.

C. 실험 파이프라인 및 모델 학습

• 모델 아키텍처: 사전 학습된 ResNet18을 백본 (Backbone) 으로 사용했습니다.
• 학습 전략:
  • 각 질환별 필터링된 데이터셋에 대해 별도의 모델을 미세 조정 (Fine-tuning) 했습니다.
  • 2 단계 학습: 먼저 전체 백본을 고정하고 FC 레이어만 5 에포크 학습, 이후 Layer4(최종 합성곱 블록) 를 풀어서 1 에포크 더 미세 조정했습니다.
• 비교 분석: 정상 조건 (Normal) 에서 학습된 모델과 각 질환 조건에서 학습된 모델의 Layer4 특징 맵을 추출하여 비교했습니다.

D. 평가 지표

• 활성화 에너지 (Activation Energy): 특징 맵의 절대값 합으로, 입력 왜곡에 따른 네트워크의 전체 반응 강도 (Excitation Level) 변화를 측정.
• 코사인 유사도 (Cosine Similarity): 정상 모델과 질환별 모델의 평탄화된 특징 벡터 간 각도 유사도를 계산하여, 특징 기하학 (Feature Geometry) 의 왜곡 정도를 정량화.

3. 주요 기여 (Key Contributions)

1. BrokenEyes 프레임워크: 5 가지 임상적으로 흔한 시각 장애를 정교하게 시뮬레이션하는 이미지 왜곡 프레임워크 개발.
2. 통제된 실험 파이프라인: 인간 및 비인간 데이터를 활용하여 질환별 인식 모델 (Disorder-aware models) 을 훈련하고 비교할 수 있는 체계적인 실험 설계.
3. 특징 수준 분석 (Feature-level Analysis): 단순한 분류 정확도뿐만 아니라, 활성화 에너지와 코사인 유사도를 통해 시각 장애가 신경망 내부 표현에 미치는 미세한 영향을 정량화한 분석 방법 제시.

4. 결과 및 논의 (Results & Discussion)

A. 분류 성능 및 신뢰도

• 정상 조건에서 모델은 100% 의 정확도를 보였으나, 모든 질환 조건에서 **신뢰도 점수 (Confidence Score)**가 하락했습니다.
• 가장 큰 신뢰도 하락: AMD (0.6795) 와 녹내장 (0.7060) 이 가장 큰 감소를 보였습니다. 이는 얼굴의 전체적인 구조와 공간적 맥락을 파악하는 데 필수적인 중심 시야 (AMD) 와 주변 시야 (녹내장) 의 손실이 모델의 판단에 치명적임을 시사합니다.

B. 특징 표현의 변화 (Feature Representation Drift)

• 코사인 유사도 (Similarity):
  • **녹내장 (0.4551)**과 **백내장 (0.6350)**이 가장 낮은 유사도를 보여, 정상적인 특징 맵과 가장 큰 편차 (Drift) 를 발생시킵니다.
  • **굴절 이상 (0.8862)**과 **망막병증 (0.8372)**은 상대적으로 높은 유사도를 유지하여, 뇌가 이러한 왜곡을 보상할 수 있음을 시사합니다.
• 활성화 에너지 (Energy):
  • 백내장 조건에서 가장 높은 활성화 에너지 (30,180.73) 를 기록했습니다. 이는 흐릿한 입력을 처리하기 위해 네트워크가 과도하게 활성화되거나 보상 기전이 작동함을 의미합니다.
  • 녹내장은 특징 정렬의 심각한 붕괴를 보였습니다.

C. 신경과학적 연관성

• 백내장: V1(1 차 시각 피질) 의 엣지 감지 및 대비 민감도 저하가 고차원 시각 영역 (FFA 등) 의 처리를 방해함을 모델이 재현함.
• 녹내장: 주변 시야 손실로 인한 공간 인코딩의 불완전성이 특징 정렬을 심각하게 교란시킴.
• AMD: 중심 시야 손실에도 불구하고 주변 시야 입력이 보상하여 특징 맵의 유사도가 상대적으로 높게 유지됨 (신경 적응 메커니즘 반영).

5. 의의 및 결론 (Significance & Conclusion)

• 계산 신경과학적 통찰: 이 연구는 시각 장애가 단순한 저수준의 감각 손실이 아니라, 고차원적인 특징 표현 (Feature Representation) 을 어떻게 재구성하거나 붕괴시키는지 컴퓨테이셔널하게 증명했습니다.
• 접근성 AI 개발: 시각 장애인을 위한 보조 AI 시스템 개발 시, 특정 질환에 적응된 모델 설계의 중요성을 강조합니다.
• 미래 방향: fMRI 나 안구 추적 (Eye-tracking) 연구와 결합하여 계산 시뮬레이션과 실제 인간 시각 처리 간의 간극을 좁히는 연구로 확장 가능함을 제안합니다.

요약하자면, 이 논문은 BrokenEyes 시스템을 통해 안과 질환을 시뮬레이션하고, ResNet18 모델의 내부 특징 맵 변화를 분석함으로써, 백내장과 녹내장이 얼굴 인식에 가장 치명적인 영향을 미친다는 것을 정량적으로 입증했습니다.