기술 요약: 누가 공로를 인정받거나 책임을 지는가? 현대적 AI 시스템에서의 책임 귀속

1. 문제 정의

현대적 AI 시스템은 일반적으로 사전 학습(pretraining), 도메인 특화 미세 조정(fine-tuning), 그리고 후속 적응(adaptation) 또는 정렬(alignment)을 포함하는 다단계 파이프라인을 통해 개발됩니다. 이러한 모듈형 구조는 성능을 촉진하지만, 책임을 불분명하게 만듭니다. 즉, 배포된 모델이 특정 행동(유익하거나, 해롭거나, 혹은 놀라운 행동)을 보일 때, 어떤 개발 단계가 그에 대한 책임이 있는지, 그리고 어느 정도까지 책임을 지는지 알기 어렵습니다.

기존의 접근 방식들은 다음과 같은 한계에 직면해 있습니다:

• 인과적 책임 분석(Causal Responsibility Analysis): 주로 이산적이고 소규모인 의사결정을 위해 설계된 구조적 인과 모델에 의존하며, 고차원적이고 순차적인 학습 과정에는 적용하기 어렵습니다.
• 학습 역학 연구(Learning Dynamics Research): 매개변수의 진화(예: 상전이)에 대한 기술적 이해에 집중할 뿐, 특정 단계에 공로를 돌리거나 책임을 묻는 데에는 집중하지 않습니다.
• 데이터 귀속(Data Attribution): 행동을 개별 데이터 포인트로 추적하지만, 종종 "평균 모델"을 가정하거나 복잡한 최적화 역학(예: 학습률 스케줄, 모멘텀, 가중치 감쇠)을 포착하지 못하는 단순화된 가정(볼록성, 치환 불변성 등)에 의존합니다.

저자들은 **책임 귀속 문제(Accountability Attribution Problem)**를 정의합니다. 이는 모델의 행동을 특정 학습 단계로 추적하여 인과적 책임을 결정하는 것입니다. 여기에는 다음과 같은 반사실적 질문이 포함됩니다: 만약 특정 단계의 업데이트가 발생하지 않았다면, 모델의 행동은 어떻게 변했을 것인가?

2. 방법론

2.1 프레임워크: 잠재적 결과 형식론 (Potential Outcomes Formalism)

저자들은 잠재적 결과 형식론(Rubin, 1974; 2005)에 기반한 프레임워크를 구축합니다.

• 처치 (Treatment, $T^S$): 특정 개발 단계 $S$ (일련의 업데이트 단계 집합)가 발생했는지($T^S=1$) 또는 건너뛰었는지($T^S=0$)를 나타내는 이진 변수입니다.
• 결과 (Outcome, $Y$): 인스턴스 $x$에 대한 모델의 성능으로, 함수 $\gamma(x, \theta)$로 정량화됩니다.
• 인과 효과 (Causal Effect, $\tau_{K,S}$): 관찰된 결과(단계 $S$가 포함된 경우)와 반사실적 결과(단계 $S$가 제외된 경우) 사이의 차이로 정의됩니다:
  $$\tau_{K,S} = \gamma(x, \theta_K) - \gamma(x, \theta_K(0^S))$$
  여기서 $\theta_K(0^S)$는 단계 $S$를 건너뛰었을 경우의 매개변수를 나타냅니다.

2.2 추정량: AA-Score

모델을 재학습시키지 않고 $\tau_{K,S}$를 추정하기 위해, 저자들은 테일러 근사와 상태 궤적 전파(state trajectory propagation)를 기반으로 효율적인 추정량을 도출합니다.

• 상태 궤적 (State Trajectory): 모델 상태 $\xi_k = (\theta_k, v_k)$는 매개변수와 속도(모멘텀을 위함)를 포함합니다. 업데이트 규칙은 모멘텀과 가중치 감쇠가 있는 SGD를 따릅니다.
• 단일 단계 효과 (Single-Step Effect): 단일 단계 $t$에 대해, 상태 $\xi_k$에 미치는 인과 효과는 단계 $t$를 건너뜀으로써 발생하는 초기 차이를 전파하여 추정됩니다. 이는 손실 함수의 헤시안(Hessian)과 옵티마이저 하이퍼파라미터(학습률 $\eta$, 모멘텀 $\mu$, 가중치 감쇠 $\lambda$)로부터 유도된 전파 행렬(propagator matrix) $M_k$를 포함합니다.
• 단계 효과 (Stage Effect, AA-Score): 단계 $S = \{t_1, \dots, t_s\}$에 대해, 총 효과는 개별 단계 효과의 합(1차 선형성)으로 근사됩니다:
  $$\hat{\tau}_{K,S} = \sum_{t_i \in S} \hat{\tau}_{K, t_i}$$
  성능에 미치는 단일 단계의 효과에 대한 추정량은 내적(dot product)으로 계산됩니다:
  $$\hat{\tau}_{K,t} = \nabla_\theta \gamma(x, \theta_K)^\top E_t$$
  여기서 $E_t$는 시간 $K$에서의 매개변수에 미치는 추정된 효과를 나타내는 벡터이며, 개발 과정 중에 한 번 계산되어 어떤 테스트 입력 $x$나 성능 함수 $\gamma$에 대해서도 재사용 가능합니다.

2.3 정확도 및 오차 범위

이 방법은 1차 테일러 근사에 의존합니다. 저자들은 정확도가 다음 요소들에 의해 결정됨을 보여주는 오차 범위를 도출합니다 (Theorem 4.1):

1. 초기 상태 차이의 크기 ($D_S$).
2. 손실 헤시안의 리프시츠 상수 (Lipschitz constant, $L$).
3. 최적화 역학의 안정성 (학습률 $\eta$ 및 불안정성 상수 $\Lambda$).
   오차는 시간 지평($K - \min(S)$)과 학습률에 따라 기하급급적으로 증가하며, 이는 이 방법이 후기 미세 조정 단계나 안정적인 최적화 영역에서 가장 신뢰할 수 있음을 시사합니다.

2.4 계산적 고려사항

직접적인 계산은 헤시안 및 전파 행렬 조작으로 인해 $O(K|B|p^2)$의 복잡도를 가집니다. 저자들은 대규모 모델로 확장하기 위해 일부 속도를 희생하더라도 타당성을 확보하는 구조적 근사(structured approximations) (예: 레이어별 또는 블록별 계산)를 제안합니다.

3. 주요 기여

1. 문제 정의: 모델 행동을 특정 학습 단계로 추적하는 것을 통한 책임 귀속을 반사실적 질의를 통해 공식화했습니다.
2. 일반적 프레임워크: 단계 수준의 반사실적 분석을 가능하게 하는 잠재적 결과 기반 프레임워크를 제공합니다.
3. 효율적인 추정량: 재학습 없이도 복잡한 최적화 역학(학습률 스케줄, 모멘텀, 가중치 감쇠)을 고려하는 AA-Score 추정량을 도출했습니다.
4. 실용적 유용성: 다양한 작업에 걸쳐 가짜 상관관계(spurious correlations), 도메인 일반화, 성능 저하를 일으키는 단계를 식별함을 입증했습니다.

4. 실험 결과

저자들은 비전(MNIST, CELEBA, Chest X-rays) 및 언어(CIVILCOMMENTS, Gemma-3) 작업에 대해 AA-Score를 평가했습니다.

• MNIST (통제된 환경):

  • 긍정적 귀속: 특정 숫자를 분류하는 데 가장 큰 긍정적 효과를 주는 단일 삽입 데이터 포인트를 성공적으로 식별했습니다.
  • 부정적 귀속: 오답 레이블 데이터를 처리하는 단계가 성능에 상당한 부정적 영향을 미침을 감지했습니다.
  • 분포 변화: 회전된 테스트 세트에 대한 성능 향상을 회전된 데이터가 도입된 특정 단계로 정확히 귀속시켰습니다.
  • 최적화 역학: 학습률, 모멘텀, 가중치 감쇠의 변화에 민감하게 반응하여 단계 효과에 미치는 구체적인 영향을 포착했습니다.
  • 검증: 단계를 건너뛰고 재학습하여 얻은 실제 반사실적 결과와 높은 상관관계(평균 ~0.945)를 보였습니다.

• 실제 응용 분야:

  • 가짜 상관관계 (Spurious Correlations): CELEBA (머리카락 색 vs 성별) 및 CIVILCOMMENTS (독성 vs 인구 통계적 용어)에서, 이 방법은 가짜 상관관계가 학습된 단계를 식별했습니다. 이러한 단계를 건너뛰는 것이 혼란 변수(confounding features)에 대한 모델의 의존도를 줄임을 재학습 실험을 통해 확인했습니다.
  • 비교: AA-Score는 복잡한 다단계 설정(특히 CELEBA 및 CIVILCOMMENTS)에서 최적화 역학을 명시적으로 모델링함으로써 적응된 DVEmb 베이스라인(프로세스 기반 데이터 귀속 방법)보다 우수한 성능을 보였습니다.

• 강건성:

  • 분산된 백도어 공격(BadNets)에 대해 테스트했습니다. 방법은 독성 배치가 어느 정도 집중되어 있을 때는 오염된 배치를 식별할 수 있었으나, 독성이 모든 배치에 완전히 분산되었을 때는 판별력이 떨어졌으며, 이는 고도로 혼합된 시나리오에서의 한계를 보여줍니다.

• 효율성:

  • 로그 기록 오버헤드(그래디언트/상태 저장)는 I/O 지배 여부에 따라 훈련 시간의 1.1배에서 6배 사이로 나타났습니다.
  • 귀속 시간은 관리 가능한 수준이었으며(데이터셋 및 모델 크기에 따라 거의 선형적으로 확장됨), 훈련 후 단 한 번의 패스(pass)만 필요했습니다.

5. 의의 및 주장

본 논문은 책임 귀속을 실용적이고 원칙적인 모델 분석 도구로 자리매김합니다. 저자들은 다음과 같은 점을 통해 더 책임 있는 AI 개발을 향한 중요한 진전을 이루었다고 주장합니다:

• 모델을 하나의 거대한 블랙박스로 취급하는 대신, 특정 개발 단계에 공로를 돌리거나 책임을 물을 수 있는 메커니즘을 제공합니다.
• 가짜 상관관계나 편향과 같은 해로운 행동을 완화하기 위한 표적 개입(예: 특정 훈련 단계 제거)을 가능하게 합니다.
• 최종 매개변수나 데이터 포인트뿐만 아니라 모델 개발의 과정에 초점을 맞춤으로써 기존의 설명 가능성(explainability) 방법들을 보완하는 진단 도구를 제공합니다.

저자들은 첫 번째 차수 근사에 의존하기 때문에 매우 혼란스러운(chaotic) 영역에서는 실패할 수 있다는 점, 구조적 근사 없이는 대규모 파운데이션 모델에 대한 계산 비용이 여전히 높다는 점, 그리고 이 방법이 훈련 궤적과 하이퍼파라미터에 대한 접근을 필요로 한다는 점을 인정하며 겸허한 태도를 유지합니다. 이들은 이 도구가 자동화된 해결책이 아니라 감사 및 진단을 위한 도구이며, 더 넓은 감사 관행의 일부가 되어야 한다고 강조합니다.