A Cortically Inspired Architecture for Modular Perceptual AI

이 논문은 인간의 인지 특성을 반영하기 위해 신경과학의 모듈성 및 예측 처리 원리를 차용하여, 기존 단일 모델의 한계를 극복하고 해석 가능성과 적응적 강건성을 갖춘 모듈식 지각 AI 아키텍처를 제안합니다.

핵심

이 논문은 **"인공지능 (AI) 이 인간의 뇌처럼 생각하게 만드는 새로운 설계도"**를 제안합니다.

지금까지의 AI(예: GPT-4) 는 거대한 '단일한 괴물'처럼 생겼습니다. 모든 것을 한꺼번에 배우고 처리하죠. 하지만 이 방식은 설명하기 어렵고, 엉뚱한 말을 하거나 (할루시네이션), 새로운 상황에 약한 단점이 있습니다.

저자 (Prerna Luthra) 는 **"인간의 뇌를 따라 해보자"**고 말합니다. 뇌는 하나의 거대한 덩어리가 아니라, 시각, 청각, 언어 등을 담당하는 작은 전문가 팀들이 모여 협력하는 구조니까요.

이 논문의 핵심 내용을 일상적인 비유로 설명해 드릴게요.

---

1. 문제점: "거대한 오케스트라" vs "혼란스러운 합창단"

• 기존 AI (단일 모델): 모든 악기를 한 사람이 다 연주하는 거대한 오케스트라 같습니다. 연주는 훌륭하지만, 만약 바이올린 소리가 잘못 나왔다면 그 이유를 찾기 어렵고, 악보 (학습 데이터) 에 없던 곡을 연주하면 엉망이 됩니다.
• 이 논문이 제안하는 AI (모듈형): 각자 전문 분야가 있는 작은 팀들이 모여 있는 합창단 같습니다.
  • 시각 팀: 눈으로 본 것을 처리합니다.
  • 언어 팀: 글과 말을 처리합니다.
  • 추론 팀: 논리를 짭니다.
  • 이 팀들은 각자 일을 하다가, **지휘자 (라우팅 컨트롤러)**의 지시에 따라 서로 정보를 주고받으며 문제를 해결합니다.

2. 핵심 아이디어 3 가지 (뇌의 원리)

이 새로운 AI 설계도는 뇌가 작동하는 세 가지 원리를 따릅니다.

① 역할 분담 (모듈화) = "전문가 팀"

• 비유: 병원에 가면 눈과 귀를 따로 보는 의사들이 있죠? AI 도 마찬가지입니다.
• 효과: 만약 '시각 팀'에 문제가 생겨도 '언어 팀'은 정상적으로 작동합니다. 전체 시스템이 무너지지 않고, 어떤 팀이 실수했는지 쉽게 찾아낼 수 있어 투명성이 높아집니다.

② 예측과 피드백 = "예상치 못한 상황 대비"

• 비유: 우리가 어두운 방에 들어갈 때, "아마 의자가 있을 거야"라고 예상을 합니다. 그리고 실제로 의자를 보면 "맞네!"라고 확인하고, 의자가 없으면 "아, 내가 잘못 봤구나"라고 수정합니다.
• 기존 AI: 한 번에 답을 내뱉습니다. 틀리면 그걸로 끝입니다.
• 새로운 AI: "내가 이렇게 생각하는데, 너는 어떻게 봐?"라고 서로에게 물어보고, 오류가 발견되면 다시 생각을 고칩니다.
• 장점: AI 가 헛소리를 하는 '할루시네이션'을 줄일 수 있습니다. AI 가 "내가 이걸 상상해 봤는데, 실제 데이터와 맞지 않네? 다시 생각해 볼게"라고 스스로 수정할 수 있기 때문입니다.

③ 공통 언어 (공유 공간) = "통역사"

• 비유: 시각 팀은 '이미지'로 말하고, 언어 팀은 '글'로 말합니다. 이 둘이 대화하려면 **통역사 (공유 공간)**가 필요합니다.
• 작동: 이 통역사는 이미지와 글이 같은 의미임을 연결해 줍니다. 그래서 AI 는 "이 사진이 무슨 뜻인지"를 글로 설명하거나, "이 글이 어떤 그림을 연상시키는지"를 상상할 수 있게 됩니다.

3. 실험 결과: "작은 팀이 더 똑똑해졌다?"

저자는 거대한 AI 모델 (Mistral-7B) 의 내부에서 이 '작은 팀' 방식이 효과가 있는지 실험해 봤습니다.

• 실험: AI 의 두뇌 (잠재 공간) 를 시각, 언어, 추론 등 주제별로 나누어 관리해 보았습니다.
• 결과:
  • 안정성 증가: 같은 주제 (예: 그림) 를 다룰 때, AI 가 사용하는 '두뇌 회로'가 훨씬 일관되게 작동했습니다. (약 15% 향상)
  • 혼란 감소: 주제가 섞이지 않고 깔끔하게 정리되었습니다.
  • 결론: AI 를 여러 작은 팀으로 나누어 관리하면, AI 가 더 꾸준하고 신뢰할 수 있는 답을 내놓는다는 것을 증명했습니다.

4. 왜 이것이 중요할까요?

이 방식은 자율주행차나 로봇 같은 실생활 AI 에 특히 유용합니다.

• 상황: 자율주행차가 비가 와서 카메라 (시각) 가 잘 안 보이는 상황입니다.
• 기존 AI: "아무것도 안 보이니 멈춰!"라고 당황하거나, 엉뚱한 것을 보고 사고를 냅니다.
• 새로운 AI: "카메라는 안 보이지만, 라이다 (레이더) 팀과 과거 경험 (추론 팀) 을 통해 '아, 비가 오니까 차가 미끄러질 거야'라고 예상하고, 다른 센서 팀의 정보를 받아 상황을 수정하며 안전하게 운전합니다."

요약

이 논문은 **"AI 를 거대한 블랙박스 (설명 불가한 상자) 로 만드는 대신, 인간의 뇌처럼 작은 전문가 팀들이 서로 대화하고 예측하며 일하게 만들자"**고 제안합니다.

이렇게 하면 AI 는:

1. 더 투명해집니다: 왜 그런 결론을 냈는지 팀별로 추적할 수 있습니다.
2. 더 튼튼해집니다: 한 팀이 고장 나도 다른 팀이 도와줍니다.
3. 더 똑똑해집니다: 실수를 스스로 발견하고 고칠 수 있습니다.

결국, 우리는 AI 가 단순히 "정답을 외우는 기계"가 아니라, **"상황을 이해하고 스스로 생각하는 파트너"**가 되는 미래를 꿈꾸고 있습니다.

기술 요약

1. 문제 제기 (Problem Statement)

현재의 지각 AI 시스템 (컴퓨터 비전, 음성 인식, 멀티모달 이해 등) 은 대부분 단일 거대 모델 (Monolithic Models) 로 구성되어 있습니다. GPT-4V 와 같은 최신 모델은 뛰어난 성능을 보이지만, 다음과 같은 근본적인 한계를 가지고 있습니다.

• 불투명성 (Opacity): 내부 추론 과정이 '블랙박스'처럼 작동하여 해석이 어렵습니다.
• 구성적 일반화 부족: 훈련 분포를 벗어난 (Out-of-Distribution) 상황이나 새로운 조합의 작업에서 취약하며, 인간과 같은 추론 능력을 갖추기 어렵습니다.
• 할루시네이션 (Hallucination): 예측 오류를 수정할 수 있는 피드백 루프가 부재하여, 감각 입력과 무관한 잘못된 출력을 생성하는 경향이 있습니다.
• 비효율적인 학습: 모든 기능을 공유된 매개변수 공간에서 학습하므로, 특정 작업의 업데이트가 다른 기능에 간섭을 일으키거나 (Catastrophic Forgetting), 국소적 최적화가 어렵습니다.

저자는 이러한 한계를 극복하기 위해 인간의 뇌 (대뇌 피질) 가 가진 모듈성, 예측 처리, 크로스-모달 통합 원리를 AI 아키텍처에 적용할 것을 주장합니다.

2. 방법론 및 제안 아키텍처 (Methodology & Proposed Architecture)

저자는 뇌의 신경학적 원리를 바탕으로 한 모듈형 지각 AI 아키텍처를 제안하며, 이는 세 가지 핵심 원칙에 기반합니다.

핵심 설계 원칙

1. 모듈형 전문화 (Modular Specialization): 시각, 언어, 청각 등 각 감각 양식 (Modality) 에 특화된 독립적인 모듈로 시스템을 분해합니다. 이는 뇌의 기능적 영역 (예: 얼굴 인식 영역, 운동 처리 영역) 과 유사합니다.
2. 예측 처리 (Predictive Processing): 단순한 순방향 (Feed-forward) 계산이 아닌, 상위 모듈이 하위 모듈에 '예상'을 전달하고 하위 모듈의 '예측 오차'를 통해 추론을 반복적으로 정제하는 재귀적 피드백 루프를 도입합니다.
3. 크로스-모달 통합 (Cross-Modal Integration): 각 모듈은 독립적이지만, 공유된 잠재 공간 (Shared Latent Space) 을 통해 상호작용하며 일관된 지각을 형성합니다.

아키텍처 구성 요소

• 전문가 인코더 (Specialist Encoders): 각 입력 양식 (음성, 이미지, 텍스트 등) 에 특화된 인코더 모듈 (예: Whisper, ViT, LLM) 이 원시 데이터를 잠재 표현으로 변환합니다.
• 공유 크로스-모달 잠재 공간 (Shared Cross-Modal Latent Space): 다양한 모듈의 출력을 통합하는 동적 작업 공간으로, CLIP 이나 ImageBind 와 유사하게 의미적 정렬을 수행하지만, 정적 정합이 아닌 예측 기반의 통합을 지원합니다.
• 라우팅 컨트롤러 (Routing Controller): 입력과 작업 맥락에 따라 어떤 전문가 모듈을 활성화할지 동적으로 결정합니다. 이는 뇌의 맥락 기반 처리 분배를 모방하며, Mixture-of-Experts (MoE) 와 유사하지만 계산 효율성보다는 추론의 모듈성에 중점을 둡니다.
• 재귀적 예측 피드백 루프 (Recurrent Predictive Feedback Loops): 상위 추론 모듈이 생성한 가설이 하위 감각 처리에 하향식 (Top-down) 신호로 전달되어, 불확실한 입력을 재해석하고 할루시네이션을 교정합니다.

3. 주요 기여 (Key Contributions)

1. 신경과학적 동기 부여의 종합: 모듈형 전문화, 예측 피드백, 크로스-모달 통합이 인간의 인지 구조에서 어떻게 구현되는지에 대한 이론적 근거를 제시하고 이를 AI 설계 원칙으로 정립했습니다.
2. 아키텍처 청사진 제시: 위 원칙을 구체화한 모듈형 지각 AI 의 구조적 설계도를 제안했습니다.
3. 증명 개념 (PoC) 연구 수행: 대규모 언어 모델 (Mistral-7B) 내부의 잠재 표현을 명시적으로 모듈화했을 때의 효과를 실험적으로 검증했습니다.
4. 기존 접근법과의 비교 분석: 단일 거대 모델, 혼합 전문가 (MoE), 신경 - 심볼릭 (Neuro-symbolic) 접근법과의 차별성을 명확히 하고, 해석 가능성과 강건성 측면에서의 장점을 부각했습니다.

4. 실험 결과 (Results)

저자는 Mistral-7B 모델의 15 번째 레이어 활성화 데이터를 기반으로 희소 오토인코더 (Sparse Autoencoders, SAEs) 를 사용하여 모듈화의 효과를 검증했습니다.

• 실험 설정: 4 가지 도메인 (시각, 언어, 크로스-모달, 추론) 의 프롬프트를 사용하여, 전체를 하나의 SAE 로 학습한 단일 (Monolithic) 조건과 도메인별 SAE 로 분할한 모듈형 (Modular) 조건을 비교했습니다.
• 주요 발견:
  1. 도메인 내 안정성 향상 (+15.4%p): 모듈형 조건에서 활성화된 특징 (Features) 의 재현율 (Jaccard overlap) 이 단일 조건 대비 55.7% 에서 71.1% 로 크게 증가했습니다. 이는 특정 도메인 내에서 특징 사용이 훨씬 일관적임을 의미합니다.
  2. 의미적 클러스터링: 모듈형 모델은 특징 - 도메인 엔트로피가 낮아 (3.23 vs 3.52) 특징이 특정 도메인에 더 집중적으로 분포함을 보였습니다. (단, 용량 제한의 영향도 일부 존재함).
  3. 재구성 정확도 유지: 모듈화에도 불구하고 데이터 재구성 오차 (MSE) 는 유의미하게 증가하지 않았습니다.
• 해석: 명시적인 의미적 분해는 특징의 완전한 격리가 아니라, 도메인 내 일관성을 강화하여 표현의 안정성을 높이는 효과가 있음을 확인했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 할루시네이션의 재해석: 이 아키텍처는 할루시네이션을 단순한 오류가 아닌, 불완전한 감각 입력 하에서 생성된 '임시 가설'로 봅니다. 피드백 루프를 통해 이러한 가설이 감각 증거와 일치하도록 반복적으로 수정 및 검증함으로써 할루시네이션을 줄일 수 있습니다.
• 강건성과 해석 가능성: 센서 고장이나 불완전한 입력 상황에서도 다른 모듈이 보완하고, 상위 사전 지식이 추론을 지원함으로써 인간과 유사한 강건한 지각을 가능하게 합니다. 또한, 모듈 단위의 오류 추적과 디버깅이 가능해져 AI 의 투명성을 높입니다.
• 미래 방향: 이 연구는 AI 와 신경과학의 융합을 통해, 단순히 성능만 높은 것이 아니라 투명하고, 적응적이며, 인간과 정렬된 (Human-aligned) 추론 시스템을 구축하는 새로운 패러다임을 제시합니다.

이 논문은 거대 단일 모델의 한계를 극복하고, 뇌의 구조에서 영감을 받은 모듈형 AI 가 차세대 지각 시스템의 핵심이 될 수 있음을 이론적, 실험적으로 입증했습니다.