Feedforward computational models of vision do not explain expert neural processing of visual Braille in the human visual system

이 연구는 단순한 순방향 시각 처리 모델이 시각적 점자를 읽는 전문가의 뇌 신경 처리를 완전히 설명하지 못하며, 시각 및 언어 시스템 간의 상호작용과 같은 추가 메커니즘이 필요함을 보여줍니다.

핵심

🧠 1. 연구의 배경: "눈"과 "뇌"의 차이

우리의 뇌, 특히 **'시각 단어 영역 (VWFA)'**이라는 부분은 글을 읽을 때 아주 똑똑하게 작동합니다. 이 부분은 단순히 글자의 '모양'만 보는 게 아니라, 그 글자가 가진 **'의미'와 '소리'**까지 연결해서 이해합니다.

예를 들어, 점자는 점 (dots) 으로 이루어져 있어 일반적인 글자 (선과 모서리로 이루어진 라틴 문자) 와 모양이 완전히 다릅니다. 그런데 놀랍게도, 점자를 읽는 사람의 뇌는 점자도 일반 글자처럼 똑같은 영역에서 처리합니다. 이는 뇌가 시각적인 모양보다는 '언어적 의미'에 더 중요하게 반응한다는 뜻입니다.

🤖 2. 실험 내용: 컴퓨터는 어떻게 생각할까?

연구진은 "인간처럼 글을 읽는 인공지능 (AI) 을 만들어보자"라고 생각했습니다. 그들은 두 가지 실험을 했습니다.

실험 1: "눈"만 가진 AI (초보 AI)

• 상황: 아직 글을 배우지 않은 AI 에게 세 가지 글자를 보여줬습니다.
  1. 라틴 문자: 일반적인 선으로 된 글자 (A, B, C...).
  2. 점자: 점으로 된 글자.
  3. 선 점자: 점자 모양을 선으로 이어 만든 새로운 글자.
• 결과: AI 는 선으로 된 글자 (라틴 문자와 선 점자) 를 매우 잘 구별했지만, 점자 (점만 있는 것) 는 완전히 다른 무언가로 인식했습니다.
• 비유: 마치 레고 블록을 보는 것과 같습니다. AI 는 "선으로 연결된 레고 (라틴 문자)"와 "점으로 된 레고 (점자)"를 전혀 다른 종류로 봅니다. 하지만 인간은 점자도 글자라는 것을 금방 알아챕니다.

실험 2: "글자 배우기" 훈련

• 상황: AI 에게 라틴 문자를 먼저 가르친 뒤, 점자나 선 점자를 추가로 가르쳤습니다.
• 결과:
  • 선 점자: AI 는 선으로 된 글자를 배우는 속도가 매우 빨랐습니다.
  • 점자: AI 는 점자를 배우는 데 엄청난 어려움을 겪었습니다. 인간은 점자 학습 초기에 약간의 불리함이 있더라도 금방 적응하지만, AI 는 훈련을 아무리 많이 해도 점자를 제대로 이해하지 못했습니다.
• 비유: 인간은 **새로운 악기 (점자)**를 배울 때, 처음엔 어색하지만 '음악 (의미)'을 이해하는 뇌가 도와주어 금방 익숙해집니다. 하지만 AI 는 **악보의 모양 (시각적 특징)**에만 집착해서, 점이라는 모양이 낯설면 아무리 연습해도 연주를 못 합니다.

🔍 3. 결론: 컴퓨터는 왜 실패했을까?

가장 중요한 발견은 AI 가 인간과 다르게 생각한다는 것입니다.

• 인간의 뇌: "이건 '사과'라는 단어구나!"라고 의미를 먼저 파악합니다. 모양이 점자든 선이든 상관없이, '사과'라는 개념이 있으면 뇌는 똑같이 반응합니다.
• 컴퓨터 (AI): "이건 점들이고, 저건 선들이야."라고 모양만 봅니다. 의미나 언어적 연결고리가 없으면, 점자를 글자로 인식하지 못합니다.

핵심 메시지:

"글자를 읽는다는 것은 단순히 눈으로 모양을 보는 게 아니라, 뇌의 언어 시스템과 시각 시스템이 서로 대화하며 의미를 만들어내는 과정입니다."

현재의 AI 는 시각 정보만 처리하는 '눈'만 가지고 있어서, 인간처럼 점자나 복잡한 언어를 완벽하게 이해하지 못합니다. AI 가 인간처럼 글을 읽으려면, 단순히 눈으로 보는 것을 넘어 언어와 의미를 이해하는 '뇌'까지 연결되어야 합니다.

💡 한 줄 요약

인간의 뇌는 점자라는 '모양'이 달라도 '의미'를 알면 금방 읽지만, 컴퓨터는 모양이 다르면 아무리 가르쳐도 읽지 못합니다. 글자를 읽는 것은 **'보는 것'이 아니라 '이해하는 것'**이기 때문입니다.

기술 요약

논문 제목:

시각적 점자의 인간 신경 처리를 설명하지 못하는 순방향 계산 시각 모델 (Feedforward computational models of vision do not explain expert neural processing of visual Braille in the human visual system)

1. 연구 배경 및 문제 제기 (Problem)

• 배경: 인간의 시각 시스템, 특히 시각 단어 형태 영역 (VWFA) 은 라틴 알파벳과 같은 표준 문자뿐만 아니라 점자 (Braille) 와 같은 비표준 시각적 스크립트도 처리할 수 있도록 적응합니다. 기존 연구들은 VWFA 가 선의 교차점 (line junctions) 처리에 대한 시각적 선천적 성향을 기반으로 문자를 학습한다고 가정해 왔습니다.
• 문제: 최근 딥러닝 모델 (DNN) 은 객체 인식 계층을 모방하여 문자 인식의 신경 기제를 설명하는 데 사용되어 왔습니다. 그러나 이러한 모델들이 점자처럼 선의 교차점이 없는 비표준 스크립트를 인간처럼 처리하는지, 그리고 언어적 상호작용 (언어 네트워크와의 연결) 없이 순수한 시각적 처리만으로 인간과 유사한 신경 조직화를 달성할 수 있는지는 명확하지 않았습니다.
• 가설: 만약 순방향 시각 모델만으로는 점자 처리를 설명할 수 없다면, 인간의 읽기 능력은 단순한 시각적 하향식 처리가 아니라 시각 및 언어 시스템 간의 상호작용에 의존할 가능성이 높습니다.

2. 연구 방법론 (Methodology)

연구는 두 가지 주요 실험을 통해 수행되었습니다.

• 실험 1: 문해력이 없는 (Illiterate) 네트워크의 문자 표현 분석

  • 모델: ImageNet 으로 사전 학습된 AlexNet (문자 학습 이력 없음).
  • 자극: 라틴 알파벳 (Arial), 점자 (Braille), 그리고 점자의 점들을 선으로 연결한 '라인 점자 (Line Braille)'의 26 개 알파벳.
  • 절차: 각 문자에 대한 네트워크의 각 레이어 (ReLU 단계 및 출력) 의 활성화를 추출하여 유클리드 거리를 계산하고, 문자 간 표현의 유사성 (Representational Dissimilarity Matrix, RDM) 을 분석했습니다.

• 실험 2: 전문성 획득 (Expertise Acquisition) 및 단어 표현 분석

  • 모델: AlexNet 과 생물학적 가설에 부합하는 CORnet Z.
  • 학습 단계:
    1. 문해력 획득: 네덜란드어 단어 (라틴 알파벳) 로 초기 학습.
    2. 전문성 획득: 기존 학습된 네트워크에 '점자' 또는 '라인 점자'를 추가하여 학습 (인간의 점자 학습 실험 시뮬레이션).
  • 테스트: 학습된 네트워크 (점자 전문가) 와 라틴 알파벳만 학습된 네트워크 (점자 비전문가) 에게 다양한 언어적 속성 (실제 단어, 유사어, 비실제 단어, 가짜 스크립트) 을 가진 자극을 제시했습니다.
  • 분석: 레이어별 활성화의 군집화 (clustering) 정도와 언어적 모델 (언어적 속성의 누적 수에 기반한 이론적 모델) 과의 상관관계를 분석하여 인간 fMRI 데이터 (Cerpelloni et al., 2025) 와 비교했습니다.

3. 주요 결과 (Key Results)

• 선 교차점 (Line Junctions) 에 대한 편향:
  • 문해력이 없는 AlexNet 에서도 라틴 알파벳과 라인 점자는 서로 유사하게 처리되었으나, 점자 (Braille) 는 초기 레이어 이후 명확하게 다른 표현을 보였습니다. 이는 순방향 시각 모델이 선의 교차점 처리에 선천적으로 편향되어 있음을 시사합니다.
• 학습 편차 (Learning Bias):
  • 두 모델 (AlexNet, CORnet Z) 모두 라인 점자 학습 시 인간과 유사한 초기 우위를 보였으나, 점자 학습 시 인간보다 훨씬 크고 장기적인 성능 저하와 학습 지연을 보였습니다. 인간은 몇 시간의 훈련으로 점자와 라인 점자 학습 속도가 비슷해지지만, 모델은 훈련이 끝날 때까지도 점자 학습에서 큰 격차를 보였습니다.
• 전문성 (Expertise) 의 부재:
  • 군집화 (Clustering): 인간은 학습된 스크립트 (점자 vs 라틴) 에 관계없이 언어적 범주 (실제 단어, 유사어 등) 에 따라 신경 표현이 유사하게 군집화되지만, 모델은 학습 이력에 관계없이 시각적 속성 (스크립트 종류) 에 따라만 군집화되었습니다. 즉, 모델은 점자 전문가가 되더라도 점자 자극을 언어적 범주에 따라 인간처럼 조직화하지 못했습니다.
  • 상관관계 부재: 모델의 표현 패턴은 인간 fMRI 데이터에서 관찰된 언어적 조직화 모델 (언어적 속성의 수에 따른 계층적 구조) 과 유의미한 상관관계를 보이지 않았습니다.

4. 주요 기여 및 결론 (Contributions & Significance)

• 계산 모델의 한계 규명: 기존 순방향 시각 모델 (AlexNet, CORnet Z) 은 인간이 점자와 같은 비표준 스크립트를 처리하는 방식, 특히 '시각적 특징'과 '언어적 의미'가 결합된 신경 조직화를 재현하지 못함을 증명했습니다.
• 시각 - 언어 상호작용의 필요성 강조: 인간의 VWFA 가 점자를 처리할 때 보이는 유연성과 전문성은 단순한 하향식 (bottom-up) 시각 처리만으로는 설명 불가능합니다. 이는 **시각 시스템과 언어 시스템 간의 상호작용 (interactive relations)**이 필수적임을 시사합니다.
• 미래 모델링 방향 제시: 향후 읽기 모델은 순수한 시각 네트워크를 넘어, CLIP 과 같은 **시각 - 언어 모델 (Vision-Language Models, VLMs)**을 적용하거나 시각 입력을 언어 처리 레이어와 명시적으로 결합하여 언어적 표현의 생성 메커니즘을 연구해야 함을 주장합니다.

5. 요약

이 연구는 딥러닝 기반의 시각 모델이 인간의 점자 읽기 신경 메커니즘을 설명하는 데 실패했음을 보여주며, 인간의 문자 처리 능력이 단순한 시각적 특징 추출을 넘어 시각과 언어 시스템 간의 복잡한 상호작용에 기반하고 있음을 강력히 시사합니다. 이는 계산 신경과학 분야에서 읽기 연구의 패러다임을 시각 중심에서 시각 - 언어 통합 모델로 전환해야 함을 요구하는 중요한 발견입니다.