Enhancing AI Interpretability and Safety through Localised Architectures

기술 요약: 국소적 아키텍처를 통한 AI 해석 가능성 및 안전성 향상

문제 제기
본 논문은 현대의 대규모 언어 모델(LLM) 및 대규모 추론 모델(LRM)이 제기하는 해석 가능성, 안전성 및 지속 가능성의 중대한 과제를 다룬다. 대규모 병렬 하드웨어(예: GPU 클러스터)에 의해 구동되는 이러한 모델들은 높은 성능을 보이지만, 해석 가능성이 낮고 알고리즘 효율성이 떨어진다는 단점이 있다. 저자들은 현재의 분산형, 고대역폭 기반 하드웨어가 '중첩(superposition)' 현상을 조장한다고 주장한다. 즉, 개별 뉴런이 서로 관련 없는 여러 개념을 인코딩하게 함으로써, 모델 내부의 인과적 경로를 역설계할 수 있는 능력인 기계적 해석 가능성(mechanistic interpretability)을 극도로 어렵게 만든다는 것이다. 이러한 불투명성은 편향 완화, 환각 현상 방지, 그리고 AI를 인간의 가치와 정렬시키는 것을 저해하며, 만약 이러한 불투명한 시스템이 인공 일반 지능(AGI)으로 진화할 경우 실존적 위험을 초래할 수 있다. 나아가, 이러한 모델들의 계산 비효율성은 과도한 에너지 소비와 이산화탄소 배출로 이어진다.

방법론 및 이론적 프레임워크
본 논문은 경험적 실험보다는 비교 이론적 분석을 채택한다. 저자들은 다음과 같은 과정을 거친다:

1. 해석 가능성의 정의: 저자들은 사후적(post hoc) 해석 가능성(인간 관찰자에게 설명력을 제공하는 것)과 기계적 해석 가능성(모델의 인과적 메커니즘과 내부 구성 요소를 이해하는 것)을 구분한다. 저자들은 생물학적 분해의 유추를 통해, 특정 기능을 특정 시스템 부분에 매핑하는 '국소화(localisation)'가 기계적 해석 가능성을 위해 필수적이라고 상정한다.
2. 기존 모델 분석: 저자들은 심층 신경망을 보다 국소적인 모델인 일반화 가법 모델(GAM) 및 결정 트리(decision trees)와 대조한다. 저자들은 GAM과 결정 트리가 가법적 또는 임계값 기반 구조 덕분에 우수한 해석 가능성을 제공하지만, (그래디언트 부스팅 등을 통해) 증강되지 않는 한 대규모의 복잡한 데이터셋에 존재하는 고차 상호작용을 처리할 표현력이 부족하며, 증강될 경우 오히려 해석 가능성이 감소한다는 점을 지적한다.
3. 하드웨어 패러다임 평가: 본 방법론의 핵심은 사고 실험이다. 만약 해석 가능성을 강제하기 위해 국소화(낮은 대역폭, 높은 지연 시간)를 강제하는 하드웨어 아키텍처를 설계한다면, 어떤 물리적 패러다임이 이를 지원할 수 있는가? 저자들은 세 가지 기준(노드당 표현력, 에너지 효율성, 실용적 성숙도)을 바탕으로 네 가지 하드웨어 후보를 평가한다.
   • 전자 아날로그 로직: 에너지 효율은 높지만 열 잡음에 취약하며 단위 대역폭당 표현력이 제한적이다.
   • 전기화학적 뉴로모픽 아키텍처: 높은 표현력(생물학적 뉴런 모사)을 갖지만, 나노 스케일에서 정확하게 모델링하기 어렵고 속도가 느리다.
   • 순수 화학 확산 시스템: 전송 속도가 훨씬 더 느려 전자 아키텍처와 경쟁하기 어려울 것으로 보인다.
   • 분자 기계적 로직: 높은 표현력과 뉴턴 역학을 통한 용이한 시뮬레이션이 가능하지만, 현재 합성하기에는 실용적이지 않다.

주요 기여

• 아키텍처 가설: 본 논문은 "국소적" 하드웨어 아키텍처(낮은 대역폭과 높은 지연 시간을 가지나 노드당 표현력이 높은 특성)가 현재의 GPU 클러스터와 비교하여 기계적 해석 가능성을 근본적으로 향할 수 있다는 가설을 제시한다.
• 하드웨어-알고리즘 공동 설계: 저자들은 해석 불가능한 딥러닝의 현재 지배적 위치가 고대역폭, 저지연 하드웨어의 가용성에 따른 결과라고 주장한다. 고대역폭 통신에 페널티를 주는 하드웨어로 전환함으로써, 분야가 중첩을 피하고 해석 가능성을 유지하는 모델을 개발하도록 유도할 수 있다.
• 해석 가능성과 제어 가능성의 구분: 저자들은 완전한 기계적 해석 가능성이 이상적이긴 하지만, 제어 가능성(활성화 스티어링과 같은 외부 개입을 통해 신뢰할 수 있고 표적화된 행동 변화를 유도하는 능력)이 더 실질적으로 달성 가능한 안전 속성임을 명시한다. 저자들은 국소적 모델이 분산형 모델보다 본질적으로 제어하기 쉽다고 제안한다.
• 대안 평가: 본 논문은 비디지털 하드웨어 패러다임(아날로그, 전기화학, 화학, 기계적)을 국소적 아키텍처의 잠재적 구현체로서 구조적으로 평가하며, 성숙도, 효율성, 표현력 사이의 절충 관계를 강조한다.

결과 및 조사 내용
본 논문은 새로운 모델이나 하드웨어 구현에 대한 실험적 결과를 제시하지 않는다. 대신, 본 논문의 "결과"는 다양한 하드웨어 패러다임의 타당성에 관한 분석적 결론이다:

• 전자 아날로그: 성숙하고 에너지 효율적이지만, 국소화 측면에서 현재의 GPU 기반 모델과 유의미하게 차별화될 만큼의 대역폭당 표현력이 부족하다.
• 전기화학/화학: 생물학적 수준의 표현력을 제공하지만, 정확한 모델링과 속도 면에서 큰 장애물이 있어 현재로서는 전자 컴퓨팅과 경쟁하기 어렵다.
• 분자 기계적: 높은 표현력과 시뮬레이션 정확도 덕분에 이론적으로 유망해 보이지만, 실제 합성 단계와는 거리가 멀다.
• 일반적 결론: 단일한 기존 하드웨어 패러다임이 높은 표현력, 에너지 효율성, 실용적 성숙도를 모두 결격 없이 갖추어 분산형 아키텍처를 즉각 대체할 수는 없다. 그러나 이론적 잠재력은 존재한다.

의의 및 주장
본 논문은 심층 신경망으로 구축된 AI 시스템의 불투명성이 현재와 미래에 안전 및 제어 가능성에 대한 위험을 초래한다고 주장한다. 본 논문의 주요 의의는 해석 가능성 문제를 단순한 소프트웨어나 알고리즘의 문제가 아닌, 하드웨어 아키텍처의 문제로 재정의했다는 점에 있다. 저자들은 다음과 같이 주장한다:

1. 설계를 통한 안전 확보: 모델 아키텍처에 설계 제약(국소화)을 부과하는 것은, 하드웨어가 뒷받침된다면 성능을 희생하지 않고도 기계적 해석 가능성을 극대화하기 위한 필수적인 단계이다.
2. 경제적 유인: 만약 국소적 아키텍처가 더 에너지 효율적임이 입증된다면, 에너지 집약적 데이터 센터에 대한 세금 부과와 같은 경제적 유인이 산업을 더 안전하고 해석 가능한 시스템으로 이끌 수 있다.
3. 연구의 정당성: 제안된 하드웨어(특히 분자 기계적 시스템)의 실제적 합성이 현재 불가능함에도 불구하고, 해석 불가능한 AI가 초래할 실존적 위험은 국소적 아키텍처에 대한 지속적인 연구를 정당화한다.

본 논문은 제안된 국소적 아키텍처가 아직 실용적으로 실행 가능하지는 않지만, 현재의 대규모 병렬, 고대역폭 하드웨어 의존에서 벗어나는 것이 미래 AI 시스템의 안전성과 지속 가능성을 보장하기 위한 중요한 방향이라는 이론적 틀을 제시하며 겸허히 결론을 맺는다.