Stretching Beyond the Obvious: A Gradient-Free Framework to Unveil the Hidden Landscape of Visual Invariance

이 논문은 기존 특징 시각화 방법의 한계를 극복하고, 시각 시스템의 불변성 매니폴드와 적대적 취약성을 체계적으로 규명하기 위해 'Stretch-and-Squeeze(SnS)'라는 새로운 무기울기 (gradient-free) 프레임워크를 제안하고 CNN 에 적용한 결과를 제시합니다.

핵심

1. 기존 방법의 한계: "가장 좋아하는 음식"만 아는 것

기존의 인공지능 (AI) 연구나 뇌과학 연구에서는 "어떤 그림을 보면 뇌 세포 (또는 AI 뉴런) 가 가장 흥분할까?"를 찾아냈습니다. 마치 어떤 요리사가 "이 요리를 가장 좋아한다"는 사실만 알고 있는 것과 같습니다.

하지만 문제는, 그 요리사가 **"이 요리를 조금만 변형해도 여전히 좋아할까?"**를 모른다는 점입니다.

• 예를 들어, '고양이'를 인식하는 뉴런이 있다면, 고양이가 귀를 살짝 돌렸을 때, 그림자가 생겼을 때, 혹은 털 색이 조금 달라졌을 때에도 여전히 '고양이'라고 인식할까요?
• 기존 방법들은 이 **'변형에 대한 허용 범위 (불변성)'**를 제대로 보여주지 못했습니다.

2. 새로운 방법 (SnS): "미로 찾기"와 "변신 놀이"

저자들은 SnS라는 새로운 도구를 만들었습니다. 이 도구는 두 가지 목표를 동시에 추구합니다.

• 스트레치 (Stretch, 늘리기): 그림을 아주 많이 변형시켜서, AI 가 보는 '내부 표현'을 원래 그림과 최대한 다르게 만듭니다. (미로의 끝까지 가는 것)
• 스쿼시 (Squeeze, 짜내기): 그런데도 불구하고, 그 변형된 그림을 보고도 동일한 뉴런이 여전히 "아, 이거 고양이네!"라고 반응하도록 유지합니다. (목표 지점을 지키는 것)

비유하자면:

한 요리사 (뉴런) 가 '고양이 스테이크'를 좋아한다고 합시다.
기존 방법은 '고양이 스테이크'를 가장 잘 만드는 법만 찾았습니다.
SnS는 "고양이 스테이크를 아주 이상하게 변형시켜도 (예: 모양을 뭉개고, 색을 바꿈), 요리사가 여전히 **'이건 고양이 스테이크야!'**라고 외치도록 만드는 최대 한계점을 찾아내는 것"입니다.

3. 주요 발견: "어디를 변형하느냐에 따라 달라지는 비밀"

이 방법으로 AI 의 여러 층 (Layer) 을 조사해보니 놀라운 사실이 드러났습니다.

• 초기 층 (픽셀 수준): 그림의 밝기나 대비를 크게 바꿔도 뉴런은 반응했습니다. (예: 그림을 아주 어둡게 해도 고양이라고 봄)
• 중간 층 (텍스처): 질감이나 무늬를 바꿔도 반응했습니다. (예: 고양이 털을 거친 모래처럼 바꿔도 인식)
• 깊은 층 (의미): 자세나 모양을 바꿔도 반응했습니다. (예: 고양이가 옆을 보고 있거나, 두 마리 고양이가 합쳐져도 인식)

즉, AI 는 단순히 그림을 보는 게 아니라, 어떤 층에서 변형하느냐에 따라 다른 종류의 '허용 범위'를 가지고 있었다는 것을 발견한 것입니다.

4. 놀라운 대조: "강한 AI"와 "약한 AI"의 차이

연구진은 보통 AI와 **적대적 공격 (Adversarial Attack) 에 강한 AI(robust AI)**를 비교했습니다.

• 강한 AI (Robust): 인간이 보기에도 변형된 그림이 '고양이'처럼 보이는 경향이 있었습니다. 하지만 너무 깊게 변형하면 (심층 층) 인간이 이해하기 어려운 이상한 그림이 되어버렸습니다.
• 보통 AI (Standard): 반대로, 깊은 층에서 변형하면 오히려 인간이 더 잘 이해하는 그림이 나옵니다.

결론: "강한 AI"가 인간과 비슷하다고 생각했지만, 변형이 심해질수록 (깊은 층) 인간과의 괴리가 다시 커진다는 것을 발견했습니다. 이는 AI 가 인간처럼 세상을 보는 방식이 아직 완벽하지 않다는 신호입니다.

5. 왜 이 연구가 중요한가요?

이 방법은 **기울기 (Gradient)**라는 복잡한 수학적 도구를 쓰지 않아도 됩니다.

• 블랙박스 (Black Box) 해결사: 내부 구조를 알 수 없는 AI 나, 심지어 **실제 생물의 뇌 (동물 실험)**에서도 적용할 수 있습니다.
• 뇌과학의 새로운 눈: 뇌세포의 활동만 일부 기록해도, 그 세포가 어떤 변형에 강한지 (불변성) 를 찾아낼 수 있어, 생물의 시각 시스템을 이해하는 데 큰 도움이 됩니다.

요약

이 논문은 **"AI 가 그림을 변형시켜도 여전히 인식할 수 있는 한계"**를 찾아내는 새로운 나침반을 만들었습니다. 이를 통해 우리는 AI 가 인간처럼 세상을 보는지, 아니면 완전히 다른 방식으로 세상을 왜곡해서 보는지 더 정교하게 파악할 수 있게 되었습니다. 마치 "변신 놀이"를 통해 AI 의 진짜 성격을 알아내는 것과 같습니다.

기술 요약

이 논문은 "Stretching Beyond the Obvious: A Gradient-Free Framework to Unveil the Hidden Landscape of Visual Invariance" (명확함을 넘어: 시각적 불변성의 숨겨진 지형을 밝히는 무경사 프레임워크) 이라는 제목으로, ICLR 2026 에 게재될 예정입니다. 저자들은 Lorenzo Tausani, Paolo Muratore 등이며, SISSA(이탈리아), 하버드 의대, MIT 등지의 연구진이 참여했습니다.

이 논문은 시각 신경망 (인공 및 생물학적) 이 어떤 특징 조합에 반응하며, 어떤 변환 (변형) 에 대해 불변성 (invariance) 을 가지는지를 체계적으로 규명하기 위한 새로운 방법론인 Stretch-and-Squeeze (SnS) 를 제안합니다.

---

1. 연구 배경 및 문제 제기 (Problem)

• 기존 방법의 한계: 기존 시각 신경망의 특징 시각화 (Feature Visualization) 연구는 주로 특정 뉴런을 가장 강하게 활성화하는 이미지 (Most Exciting Images, MEIs) 를 찾는 데 집중했습니다. 그러나 MEI 는 해당 뉴런이 반응하는 방대한 이미지 집합 중 극히 일부만을 보여줄 뿐, 뉴런의 반응이 불변성을 유지하는 변환의 다양성 (manifold of transformations) 을 드러내지 못합니다.
• 불변성 규명의 중요성: 시각 인식의 일반화 (generalization) 는 입력 이미지가 변형되더라도 (예: 회전, 크기 변경, 조명 변화) 신경망의 반응이 일정하게 유지되는 능력에 달려 있습니다. 기존의 사전 정의된 변환 (아핀 변환 등) 을 적용하는 방식은 뉴런이 실제로 허용하는 변환의 축을 충분히 탐색하지 못합니다.
• 경사 기반 (Gradient-based) 방법의 제약: 기존 불변성 연구는 대부분 경사 하강법을 사용했으나, 이는 신경망의 내부 구조 (가중치, 경사) 에 접근할 수 있는 '화이트박스' 환경에만 적용 가능합니다. 생물학적 신경망 연구나 블랙박스 모델에서는 적용이 어렵습니다.

2. 제안 방법론: Stretch-and-Squeeze (SnS) (Methodology)

저자들은 SnS라는 새로운 프레임워크를 제안했습니다. 이는 모델에 무관 (model-agnostic) 하고 경사가 필요 없는 (gradient-free) 최적화 기법입니다.

• 핵심 아이디어: SnS 는 두 가지 상반된 목적을 동시에 최적화하는 이중 목적 (bi-objective) 최적화 문제로 시각적 불변성과 적대적 공격 (adversarial attack) 을 프레임합니다.
  1. Stretch (늘리기): 기준 이미지 (예: MEI) 와 선택된 처리 단계 (layer) 의 표현 공간 (representation space) 에서 최대한 거리를 두도록 이미지를 변형합니다.
  2. Squeeze (압축하기): 변형된 이미지가 하류 (downstream) 의 목표 뉴런을 활성화하는 정도는 기준 이미지와 동일하게 유지합니다.
• 알고리즘 구조:
  • 생성 모델 (Generative Model): 잠재 공간 (latent code) 을 이미지로 변환하는 사전 학습된 생성기 (Dosovitskiy & Brox, 2016) 를 사용합니다.
  • 최적화 (Optimizer): CMA-ES (Covariance Matrix Adaptation Evolutionary Strategy) 와 같은 진화 알고리즘을 사용하여 잠재 코드를 조정합니다.
  • 피트니스 함수:
    • 불변성 탐지 (Invariance): 표현 공간에서의 거리 (Stretch) 를 최대화하면서, 목표 뉴런의 활성화 (Squeeze) 는 유지합니다.
    • 적대적 공격 (Adversarial): 표현 공간에서의 거리는 최소화하면서, 목표 뉴런의 활성화는 극도로 억제합니다.
  • 파레토 최적해 (Pareto-optimal solutions): 두 목적 간의 트레이드오프를 고려하여 최적의 이미지 집합을 찾습니다.

3. 주요 기여 (Key Contributions)

1. 새로운 프레임워크 제안: 경사 기반 방법이 아닌, 진화 알고리즘을 기반으로 한 최초의 체계적인 시각적 불변성 매핑 도구 (SnS) 를 개발했습니다. 이는 블랙박스 시스템과 생물학적 신경망 연구에 직접 적용 가능합니다.
2. 계층적 불변성 발견: CNN 의 다른 층 (입력 픽셀, 중간 층, 깊은 층) 에서 표현을 '늘려서 (stretching)' 생성된 불변 이미지들이 서로 다른 특징 (밝기/대비, 질감, 객체 자세 등) 에 민감하게 반응함을 규명했습니다.
3. 강인성 (Robustness) 과 해석 가능성의 역설: L2-강인성 (adversarially trained) 을 가진 네트워크와 표준 네트워크의 불변성을 비교하여, 강인성 훈련이 고차원 불변성의 해석 가능성 (human interpretability) 을 높이는지 여부에 대한 새로운 통찰을 제공했습니다.

4. 주요 실험 결과 (Results)

• 효과적인 적대적 및 불변 이미지 생성: SnS 는 기존 아핀 변환보다 픽셀 공간에서 더 멀리 떨어졌음에도 불구하고, 목표 뉴런의 반응을 유지하는 (불변) 또는 억제하는 (적대적) 이미지를 성공적으로 생성했습니다.
• 계층별 불변성의 차이:
  • 픽셀 공간 (Low-level): 밝기 (luminance) 와 대비 (contrast) 변화가 주를 이룹니다.
  • 중간 층 (Mid-level): 질감 (texture) 과 색상 변화가 주로 발생합니다.
  • 깊은 층 (High-level): 객체의 자세 (pose) 변화나 객체 수의 변화 등 추상적인 변형이 발생합니다.
• 강인성 훈련과 해석 가능성의 역설 (Key Finding):
  • 표준 네트워크 (Standard): 깊은 층에서 표현을 늘렸을 때 생성된 불변 이미지는 인간이 더 잘 인식했습니다.
  • L2-강인성 네트워크 (Robust): 픽셀 수준에서는 인간과 잘 일치하지만, 깊은 층에서 표현을 늘렸을 때 생성된 불변 이미지는 인간의 해석 가능성이 오히려 떨어졌습니다. 이는 강인성 훈련이 고차원 불변성의 해석 가능성을 보장하지 않음을 시사합니다.
• 생물학적 적용 가능성 검증: SnS 는 처리 단계의 뉴런 중 일부만 기록하더라도 (subsampling) 효과적으로 작동함을 확인하여, 실제 생체 실험 (in vivo) 에 적용 가능한 잠재력을 입증했습니다.
• 다양한 아키텍처 적용: ResNet50, ResNet18, VGG16 뿐만 아니라 Vision Transformer (ViT) 에도 적용 가능하며, ViT 는 CNN 과 달리 계층적 불변성 차이가 덜 뚜렷함을 발견했습니다.

5. 의의 및 결론 (Significance)

• 신경과학 및 AI 의 교량: SnS 는 생물학적 시각 신경망의 튜닝 특성 (tuning properties) 을 규명하는 데 있어 '디지털 트윈'이 부재하거나 제한적인 상황에서도 적용 가능한 강력한 도구입니다.
• 불변성의 본질 재정의: 시각 시스템이 복잡한 특징에 대한 선택성 (selectivity) 을 얻는 동시에, 그 특징들의 조합에 대한 불변성 (invariance) 을 획득하는 과정이 계층적으로 이루어짐을 보여줍니다.
• 강인성 훈련의 한계 지적: 적대적 훈련 (adversarial training) 이 픽셀 수준의 인간-모델 정렬을 개선하지만, 고차원적인 불변성 영역에서는 인간과 모델의 인식 차이가 여전히 존재할 수 있음을 드러냈습니다.
• 미래 전망: SnS 는 생물학적 시각 시스템의 새로운 불변성 축을 발견하고, 인간과 더 잘 정렬된 AI 모델을 설계하는 데 핵심적인 도구로 활용될 수 있습니다.

요약하자면, 이 논문은 SnS라는 새로운 무경사 최적화 기법을 통해 시각 신경망이 실제로 허용하는 변환의 범위를 체계적으로 매핑했으며, 이를 통해 기존에 알려지지 않았던 계층적 불변성의 특성과 강인성 훈련의 한계를 규명했습니다.