기술 요약: 야생(In the Wild)에서의 AI 시스템 감사를 향하여

문제 정의

본 논문은 현재의 AI 평가 패러다임과 실제 배포된 AI 시스템 사이의 결정적인 간극을 지적한다. 현재의 머신러닝 평가는 정적 데이터셋을 사용하는 오프라인, 사전 배포 벤치마크에 크게 의존하고 있다. 그러나 AI 시스템이 동적인 실제 환경에 점점 더 깊숙이 통합됨에 따라, 시스템의 행동은 진화하는 데이터 분포, 복잡한 사용자 상호작와 인프라 의존성에 의해 형성된다.

저자들은 사전 배포 벤치마크가 시스템 행동에 대해 제한적인 뷰만을 제공한다고 주장하는데, 그 이유는 다음과 같다:

1. 제한된 가시성: 현대의 AI 시스템은 고립된 모델이라기보다 복잡한 파이프라인(데이터 수집, 학습, 배포, 다운스트림 의사결정)이다.
2. 실제 세계의 역동성: 데이터 분포가 변화하고, 시스템 출력에 반응하여 사용자 행동이 진화하며, 배포 후 의도하지 않은 사용 사례가 나타난다.
3. 인센티브 구조: 프런티어 AI 기업들 사이의 경쟁적인 "경주"는 장기적인 리스크 평가와 포괄적인 평가보다 신속한 배포와 벤치마크 성능을 우선시한다.

결과적으로, 전통적인 평가는 COMPAS 재범률 사례와 같은 차별적 결과, 안전 위반, 또는 체계적 리스크와 같이 실제 환경(in the wild)에서만 나타나는 실패를 감지하는 데 실패한다. 본 논문은 **감사(auditing)**가 정적인 사전 배포 점검에서 벗어나, 불확실성 하에서 작동하는 연속적인 라이프사이클 전반의 프로세스로 진화해야 한다고 상정한다.

방법론 및 제안된 프레임워크

본 논문은 특정 새로운 알고리즘이나 실험적 프로토타입을 제안하지 않는다. 대신, AI 감사를 재정의하기 위한 개념적 및 통계적 프레임워크를 제안한다.

핵심 관점: 리스크 제어로서의 감사

저자들은 감사를 불확실성 하에서 제약 조건 위반을 모니터링하는 통계적 문제로 프레이밍할 것을 제안한다.

• 제약 조건 위반: 원하는 속성(예: 공정성, 안전성, 규제 준수)은 제약 조건으로 취급된다.
• 불확실성을 고려한 모니터링: 그라운드 트루스(ground truth) 레이블이 지연되거나 데이터가 노이즈가 많고 환경이 동적일 수 있기 때문에, 감사는 결정론적인 메트릭에 의존할 수 없다. 대신, 배포된 시스템이 이러한 제약 조건을 위반할 리스크를 정량화해야 한다.
• 연속적 평가: 감사는 시스템이 실제 환경과 상호작용함에 따라 지속적으로 모니터링되는 과정으로 간주되며, 리스크 임계값이 초과될 때 개입을 트리거한다.

감사의 차원

논문은 다차원적인 감사 접근 방식을 개괄한다:

1. 라이프사이클: 사전 배포를 넘어 사후 배포 감사를 포함한다. 이는 데이터 이질성, 자동화된 데이터 필터링, 그리고 전체 모델 재학습 없이 실시간으로 컴플라이언스 문제를 수정하는 과제를 다룬다.
2. 접근 수준 및 제도적 역할: 프레임워크는 다양한 접근 수준을 가진 서로 다른 감사 주체들을 수용한다:
   • 내부 팀 (화이트박스): 파이프라인 및 내부 구조에 대한 완전한 접근 권한을 가짐.
   • 신뢰할 수 있는 제3자/규제 기관 (그레이/화이트박스): 독립적인 기술적 평가 및 컴플라이언스 점검 수행.
   • 외부 연구자/사용자 (블랙박스): 입력/출력 프로빙 및 사고 보고를 통한 독립적 조사 수행.
3. 감사 대상: 논문은 감사 대상을 다음 6가지 영역으로 분류한다:
   • 기능적(Functional): 실제 환경 조건 및 분포 변화 하에서의 신뢰성.
   • 운영적(Operational): 인프라, 데이터 파이프라인, 서비스 신뢰성.
   • 인간-AI 상호작용: 피드백 루프, 자동화 편향, 사용자 신뢰.
   • 안전 및 보안: 적대적 입력 및 악의적인 공격에 대한 회복력.
   • 컴플라이언스(Compliance): 법률, 규제 및 조직 정책의 준수.
   • 대규모 영향(Large-scale Impact): 인구 집단 전반에 걸친 체계적 리스크 및 의도하지 않은 해악.

기술적 토대

저자들은 자신들의 비전과 일치하는 기존의 통계적 프레임워크를 인용한다:

• 컨포멀 예측(Conformal Prediction): 배포 후 i.i.d. 가정이 성립하지 않더라도 모델의 성능과 공정성에 대한 통계적 보증을 제공하는 데 사용된다 (예: Conformal Fairness).
• 리스크 제어 방법론: 감사 사양을 인코딩하고 엄격한 보증을 유지하기 위해 순차적 의사결정 문헌에서 도출된 방법론을 활용한다.
• 사회-기술적 사양(Socio-Technical Specifications): 법적/거버넌스 규범과 기술적 메트릭 사이를 연결하는 측정 가능한 제약 조건을 정의할 필요성을 강조하며, "안전"이 "공정성"보다 덜 명확하게 정의될 수 있음을 인정한다.

주요 기여

1. 감사의 재정의: 주요 기여는 감사를 결정론적 검증 작업이 아닌 통계적 리스크 제어 문제로 취급하라는 주장이다. 이는 초점을 "모델이 통과했는가?"에서 "현재의 불확실성 하에서 제약 조건 위반의 확률은 얼마인가?"로 전환한다.
2. 라이프사이클 관점: 감사가 전체 AI 라이프사이클에 걸쳐 확장되어야 함을 강조하며, 사전 배포 벤치마크의 한계와 사후 배포의 복잡성을 다룬다.
3. 다중 행위자 생태계: 내부 팀, 제3자 감사인, 규제 기관, 사용자가 각각 뚜렷한 접근 수준과 역할을 가진 다양한 감사 생태계의 필요성을 강조한다.
4. 도전 과제 식별: 다음과 같은 기술적 및 사회-기술적 과제를 체계적으로 분류한다:
   • 안전을 위한 신뢰할 수 있고 정량화 가능한 사양의 부재.
   • 데이터 이질성 및 연합형 또는 파편화된 데이터 환경에서의 감사 어려움.
   • 인간-AI 팀에서의 "부분 관측(partial observation)" 문제 (인간의 의도가 모델의 행동을 모호하게 만듦).

결과 및 주장

포지션 페이퍼로서, 이 연구는 실험적 결과, 경험적 벤치마크 또는 새로운 소프트웨어 도구를 제시하지 않는다. 이들의 "결과"는 자신의 논지를 뒷받침하기 위한 논리적 논증과 기존 문헌의 합성이다.

논문은 다음과 같이 주장한다:

• 현재의 평가 패러다임은 역동적인 실제 환경에서 신뢰성을 보장하기에 불충분하다.
• 리스크 기반의 불확실성 인식 프레임워크는 정적인 모델 평가와 동적인 시스템 행동 사이의 간극을 메우기 위해 필요하다.
• 효과적인 감사는 법, 거버넌스, 통계학, 컴퓨터 과학의 통찰력을 통합하는 학제 간 협업을 필요로 한다.
• 이 분야는 지속적인 모니터링과 리스크 평가에 관한 원칙을 얻기 위해 금융, 의료, 제약 분야의 확립된 감사 관행을 참고해야 한다.

의의

이 논문은 현대 시대에 신뢰할 수 있는 AI를 달성하기 위해 감사가 필수적이라고 주장한다. 그 의의는 다음과 같다:

• "야생(The Wild)"에 대응: 데이터 변화와 사용자 상호작용이 벤치마크가 포착할 수 없는 리스크를 생성하는, 실제 환경에서 AI 시스템을 모니터링하기 위한 원칙적인 접근 방식을 제공한다.
• 민주적 거버넌스 가능화: 시스템의 성능, 공정성 및 신뢰성에 대한 독립적인 검증 메커니즘을 제공하며, 이는 공공의 신뢰와 민주적 감독에 중요하다.
• 미래 연구 가이드: 불확실성 인식 모니터링 방법, 감사 기준을 위한 사회-기술적 사양, 그리고 지속적인 감독을 가능하게 하는 감사 인프라 개발에 초점을 맞춘 연구 의제를 설정한다.

저자들은 AI 감사의 성공 여부는 감사 기준과 관련된 리스크를 정량화하고, 그 정보를 모델 업데이트에 활용하여 시스템의 라이프사이클 전반에 걸쳐 원하는 속성에 대한 컴플라이언스를 유지하는 피드백 루프를 만드는 능력에 의해 측정될 것이라고 결론짓는다.