Causal Explanations from the Geometric Properties of ReLU Neural Networks

기술적 요약: ReLU 신경망의 기하학적 속성에서 도출된 인과적 설명

문제 제기

신경망, 특히 강화학습 (RL) 을 통해 자율 시스템의 제어 정책을 학습하는 데 사용되는 신경망은 "블랙박스"로 작동합니다. 이러한 해석 불가능성은 안전성 보장과 사용자 신뢰를 저해합니다. 설명 가능한 인공지능 (XAI) 과 설명 가능한 강화학습 (XRL) 과 같은 분야는 "왜"와 "왜 아닌지"에 대한 설명을 제공하려 하지만, 현재 최첨단 방법론들은 종종 증류된 모델(단순화된 대리 모델) 에 의존합니다. 이러한 증류된 정책은 해석 가능하지만, 원래 모델에 비해 성능이 크게 저하되며 원래 모델의 의사결정 과정을 정확하게 반영한다는 보장이 없습니다. 따라서 이를 통해 원래 시스템의 안전성을 공식적으로 보장할 수 없습니다. 근사나 성능 손실 없이 원래 신경망에서 직접 정확한 인과적 설명을 생성하는 방법이 필요합니다.

방법론

저자들은 선형 계층과 Rectified Linear Unit (ReLU) 활성화 함수로 구성된 신경망에 대한 **최소 완전 설명 (Minimally Complete Explanations, MCE)**을 생성하는 방법을 제안합니다. 이 접근법은 ReLU 네트워크가 $n$차원 볼록 다면체로 정의된 영역들로 나뉜 조각별 선형 함수에 해당한다는 기하학적 속성을 활용합니다.

핵심 방법론은 두 가지 주요 알고리즘을 포함합니다:

1. 기하학적 표현:

   • 네트워크는 입력 공간을 서로 다른 영역 (다면체) 으로 나누는 것으로 간주됩니다. 각 다면체 내에서 각 출력 뉴런에 대한 네트워크의 행동은 단일 선형 변환입니다.
   • 각 뉴런의 활성화 (0 또는 비 0) 는 비트 벡터로 표현됩니다. 활성화의 특정 조합은 입력 공간에서 고유한 다면체 $P$를 정의하며, 이는 선형 부등식 시스템 (H-표현) 으로 기술됩니다.

2. "왜" 설명 (사실적):

   • 입력: 입력 $x$와 네트워크 $N$.
   • 과정: 알고리즘은 $x$에 대한 활성화 시그니처 (비트 벡터) 를 수집하기 위해 순전파를 수행합니다. 이 시그니처에 해당하는 다면체 $P$를 구성합니다.
   • 정제: 실제 출력 클래스 $c$가 최대가 되는 부분 집합 다면체 $P_{Output} \subset P$를 정의합니다. 최소성을 달성하기 위해 알고리즘은 $P_{Output}$을 정의하는 부등식 시스템에서 중복된 제약 조건을 식별하고 제거하기 위해 일련의 선형 계획법을 풉니다.
   • 출력: 네트워크가 관찰된 의사결정을 생성하는 영역을 정확하게 정의하는 단순화된 선형 부등식 집합 ($H'$).

3. "왜 아닌지" 설명 (반사실적):

   • 입력: 입력 $x$, 실제 출력 $c$, 그리고 반사실적 출력 $c'$.
   • 과정: 알고리즘은 먼저 반사실적 클래스 $c'$이 현재 다면체 $P$ 내에서 실현 가능한지 확인합니다. 실현 가능하다면, 설명은 $P$ 내에서 클래스들을 구분하는 선형 부등식입니다.
   • 탐색: $c'$이 $P$에서 실현 불가능한 경우, 알고리즘은 **인접 다면체 행진 (Adjacent Polytope Marching)**을 사용합니다. 활성화 시그니처의 비트를 반복적으로 뒤집어 (해밍 거리를 증가시켜) 인접한 다면체들을 탐색하여 $c'$이 실현 가능한 영역 $P'$을 찾을 때까지 진행합니다.
   • 출력: 설명은 사실적 다면체 $P$와 반사실적 다면체 $P'$을 구분하는 특정 제약 조건 (다른 비트/부등식) 으로 구성됩니다.

4. 표현 방식:

   • H-표현: 선형 부등식 시스템입니다. 이는 정확하며 뉴런 수에 선형적으로 비례하지만 고차원 입력의 경우 복잡할 수 있습니다.
   • V-표현: 다면체의 경계를 정의하는 극점 (꼭짓점) 집합입니다. 이는 더 간결한 표현 (네트워크 깊이에 대한 상수 크기) 을 제공하지만 입력 차원성에 대해 지수적 복잡도를 도입합니다.

주요 기여

• 정확성: 이 방법은 모델 증류에 내재된 근사 오차를 피하고 원래 ReLU 네트워크의 행동을 100% 정확하게 반영하는 설명을 생성합니다.
• 직접 추출: 규칙은 대리 모델이 아닌 신경망의 기하학적 속성 (다면체 분해) 에서 직접 추출됩니다.
• 알고리즘적 프레임워크: 이 논문은 다면체 행진과 제약 조건 감소를 사용하여 "왜" (사실적) 와 "왜 아닌지" (반사실적) 설명을 모두 생성하는 구체적인 알고리즘을 소개합니다.
• 이중 표현: 이 연구는 H-표현 (제약 조건) 과 V-표현 (경계) 모두로 설명을 제공하는 방법을 보여주며, 각 방식의 해석 가능성과 계산 복잡도 간의 트레이드오프를 논의합니다.

결과 및 복잡도 분석

• 계산 복잡도:
  • "왜" 설명: 시간 복잡도는 $O(n)$입니다. 여기서 $n$은 뉴런 수이며, 중복된 제약 조건을 제거하기 위해 선형 개수의 선형 계획법을 풀기 때문입니다.
  • "왜 아닌지" 설명: 최선의 경우 복잡도는 $O(n)$입니다. 최악의 경우 모든 가능한 다면체를 나열하는 것과 동일한 $O(2^n)$입니다. 그러나 저자들은 실제로 알고리즘이 반사실적 설명에 대한 단일 실현 가능한 다면체만 발견하면 탐색이 중단되므로 빠르게 종료될 가능성이 있다고 지적합니다.
• 공간 복잡도: 두 알고리즘 모두 현재 다면체와 비트 벡터만 저장하므로 일정한 공간 복잡도를 유지합니다.
• 확장성: 저자들은 이 방법이 이론적으로 타당하지만, H-표현은 모델 크기 (제약 조건 수) 에 선형적으로 비례하고 V-표현은 입력 차원성에 대해 지수적으로 비례한다고 인정합니다. 고차원 입력은 모든 입력 변수를 포함하는 제약 조건을 초래하여 해석 가능성을 저하시킬 수 있습니다.

중요성 및 주장

이 논문은 안전성 보장과 해석 가능성 사이의 간극을 해소하는 데 그 주요 중요성이 있다고 주장합니다. 정확한 기하학적 설명을 제공함으로써, 이 방법은 사용자가 시스템이 안전하지 않은 상태에 진입하지 않을 것임을 검증하고 특정 행동으로 이어진 구체적인 의사결정 경계를 이해할 수 있게 합니다.

저자들은 자신의 작업을 모든 해석 가능성 과제의 완전한 해결책이 아니라 실현 가능성에 대한 시도로 겸손하게 제시합니다. 그들은 다음과 같이 명시적으로 진술합니다:

• 설명은 네트워크의 기하학에 관해 "최소 완전"하지만, 특히 고차원 공간에서 복잡성과 제약 조건의 수로 인해 최종 사용자에게 "만족스러운 (lovely)" 설명이 아닐 수 있습니다.
• 이 방법은 현재 선형 계층과 ReLU 활성화 함수를 가진 네트워크로 제한됩니다.
• 이러한 설명의 "매력 (loveliness)"을 실제 사용자와 규제 기관 (예: 해운 분야) 과 검증하고, CNN 과 같은 다른 아키텍처 및 Leaky ReLU 와 같은 다른 활성화 함수로 접근법을 확장하기 위해서는 향후 연구가 필요합니다.

이 연구는 원래 자율 시스템의 성능이나 안전성 보장을 훼손하지 않는 기계적 해석 가능성으로 나아가는 기초적인 단계로 자신을 위치시킵니다.