When Do Data-Driven Systems Exhibit the Capability to Infer?

기술 요약: 데이터 기반 시스템은 언제 추론 능력을 나타내는가?

문제 제기
유럽 AI 법(EU AI Act)은 인공지능을 주로 그 "추론 능력(capability to infer)"에 의해 정의하며 포괄적인 법적 프레임워크를 구축하고 있다. 그러나 해당 법안과 부속 위원회 가이드라인은 추론에 대한 정밀한 기술적 정의를 제공하지 않아, 현대적 머신러닝 아키텍처가 아닌 고전적 통계 모델에 의존하는 데이터 기반 시스템에 대해 규제적 모호성을 야기한다. 이러한 불확실성은 특히 AI 법의 부속서 III에서 고위험 애플리케이션으로 명시된 신용 점수 산정(credit scoring) 분야에서 두드러진다. 업계 실무자와 규제 당국은 딜레마에 직면해 있다. 많은 신용 점수 산정 시스템이 로지스틱 회귀와 통계적 비닝(binning) 절차를 활용하고 있기 때문이다. 이러한 시스템들이 모델 개발 과정에서 인간 전문가의 개입을 포함함에도 불구하고, AI 법에 따른 'AI 시스템'으로 분류될 만큼 충분한 "추론 능력"을 갖추고 있는지, 아니면 "기본적 데이터 처리" 범주로서 범위 밖에 머물러 있는지는 여전히 불분명하다.

방법론
이 모호성을 해결하기 위해, 저자들은 통계적 학습 이론에 근거하여 추론 능력을 평가하기 위한 단계적 프레임워크를 개발한다. 방법론은 다음 세 단계로 진행된다:

1. 이론적 추상화: 저자들은 데이터가 입력-출력 매핑(input-output mapping)의 형성에 어떻게 영향을 미치는지 분석함으로써 추론의 개념을 공식화한다. 파라미터 추정(데이터 모델링 문화)과 알고리즘 구축(알고리즘 모델링 문화)의 구분을 바탕으로, 저자들은 데이터가 시스템의 로직을 형성하는 정도에 따라 시스템을 분류하는 5단계 프레임워크(Level 0–4)를 제안한다:

   • Level 0 (고정된 매핑): 인간에 의해 사전에 완전히 지정됨; 데이터가 처리되지만 구조나 파라미터에는 영향을 미치지 않음.
   • Level 1 (파라미터 적응): 함수 형태는 고정되어 있음; 데이터는 오직 수치적 파라미터(예: 선형/로지스틱 회귀의 계수)만을 결정함.
   • Level 2 (구조적 선택): 데이터가 미리 정의된 허용 가능한 구조 집합 중에서 선택함 (예: 단계적 변수 선택(stepwise feature selection), $L_1$ 정규화).
   • Level 3 (구조적 구축): 데이터가 입력-출력 매핑을 기능적으로 구축함; 명시적 방식(예: 결정 트리) 또는 암시적 방식(예: $k$-최근접 이웃) 모두 포함.
   • Level 4 (표현 공간 구축): 데이터가 표현 공간(representational space) 자체를 결정함 (예: 심층 신경망, 표현 학습).

2. 규제 매핑: 이 프레임워크를 AI 법(제3조, 전문 12항) 및 위원회 가이드라인에 적용한다. 저자들은 "수학적 최적화를 개선"하거나 "전통적 방법을 가속화"하는 시스템을 제외한다는 가이드라인의 내용을 분석하여, "추론 능력"에 대한 규제적 임계치가 어디에 위치하는지 탐색한다. 저자들은 Level 1이 AI 정의에서 제외된다는 해석과, 파라미터 추정조차 추론에 해당한다는 대안적 해석이라는 두 가지 관점을 탐구한다.

3. 사례 연구 적용: "Give Me Some Credit" 데이터셋을 사용하여 두 가지 현실적인 신용 점수 산정 워크플로우에 프레임워크를 적용한다. 저자들은 다음을 포함한 엔드 투 엔드(end-to-end) 개발 과정을 해부한다:

   • 비닝(Binning): 수동 비닝과 데이터 기반 비닝(예: 섀넌 엔트로피를 최적화하는 재귀적 이진 분할)을 분석함.
   • 로지스틱 회귀: 표준 로지스틱 회귀와 단계적 변수 선택을 사용하는 버전 간의 차이를 조사함.
   • 인간의 개입: 전문가의 제약 조건(예: 단조성 요구사항, 규제 규칙) 및 수동 변수 선별이 시스템의 추론 능력에 미치는 영향을 평가함.

주요 기여

• 단계적 추론 프레임워크: 본 논문은 데이터가 입력-출력 매핑을 어떻게 형성하는지에 따라 시스템을 구분하는 구조화된 5단계 분류 체계를 도입한다. 이는 이진 분류를 넘어 하이브리드 시스템에 대한 세밀한 분석을 가능하게 한다.
• 통계 모델에 대한 규제적 명확성: 저자들은 일반적인 신용 점수 산정 기술이 프레임워크의 서로 다른 단계에 위치함을 보여준다. 구체적으로, 고정된 특징을 가진 표준 로지스 l스틱 회귀는 Level 1에 해당하지만, 데이터 기반 비닝(Level 3a)이나 단계적 변수 선택(Level 2)을 추가하면 시스템의 추론 능력이 변화함을 입증한다.
• 워크플로우 수준의 분석: 논문은 규제 평가가 최종 예측 모델에만 국한되어서는 안 된다고 주장한다. 전처리 단계인 비닝이나 변수 선택이 최종 모델 자체는 갖지 못할 수도 있는 추론 능력을 도입할 수 있으므로, 전체 데이터 처리 워크플로우를 평가해야 한다.
• 인간 전문성의 역할: 개발 단계에서의 인간 개입(예: 제약 조건 정의, 변수 수동 선택)이 시스템이 추론 능력을 갖춘 것으로 간주될지 여부에 상당한 영향을 미칠 수 있으며, 이를 통해 시스템을 "기본적 데이터 처리" 범주 내에 머물게 할 수 있음을 강조한다.

결과
신용 점수 산정 워크플로우에 프레임워크를 적용한 결과, 이러한 시스템들은 흔히 복합적인 성격을 띠는 것으로 나타났다:

• 비닝: 수동 비닝은 Level 0 또는 1에 머문다. 그러나 데이터 기반 비닝 방법(엔트로피를 최적화하는 방식 등)은 Level 3a(명시적 구조 구축)를 구성하는데, 이는 파티션 구조가 고정된 카탈로그에서 선택되는 것이 아니라 데이터로부터 기능적으로 구축되기 때문이다.
• 로지스틱 회귀: 사전 선택된 특징을 가진 표준 로지스틱 회귀 모델은 Level 1이다. 그러나 단계적 변수 선택을 결합할 경우, 시스템은 Level 2(구조적 선택)에서 작동한다.
• 규제 임계치: 저자들은 만약 위원회 가이드라인이 전통적 최적화를 단순히 "가속화"하는 시스템을 제외하도록 엄격하게 해석된다면, Level 1 시스템(파라미터 적응)은 AI 법의 범위 밖에 놓일 수 있다고 제안한다. 반대로, Level 2 이상의 특성(구조적 선택 또는 구축)을 보이는 시스템은 데이터로부터 모델을 도출한다는 AI 법의 정의에 더 밀접하게 부합한다.
• 모호성 해소: 본 연구는 단일 신용 점수 산정 시스템이 서로 다른 단계의 구성 요소들을 포함할 수 있음을 보여준다. 결과적으로 "추론 능력"은 알고리즘만의 고유한 속성이 아니라, 특정 구현 및 워크플로우의 속성이다.

의의
본 논문의 주요 의의는 규제자와 업계 실무자들에게 "추론 능력"이라는 법적 개념을 실행 가능한 기술적 도구로 구체화하는 데 있다고 주장한다. 모든 데이터 기반 시스템의 추론 능력이 동일하지 않음을 입증함으로써, 본 프레임워크는 신용 점수 산정과 같은 고위험 분야에서 경계선에 있는 사례들에 대해 일관된 규제 처리를 위한 근거를 제공한다. 저자들은 본 연구가 로지스틱 회귀의 법적 지위를 확정적으로 해결하는 것이 아니라, 그러한 결정을 내리는 데 필요한 기술적 구분을 명확히 하는 것이며, 인간 전문가의 참여와 특정 워크플로우 설계가 시스템이 AI 법의 정의를 충족하는지 결정하는 데 있어 핵심적인 요소임을 강조한다.