Same System, Opposite Verdicts: Metric Discretion in AI Ethics Audits and the Limits of Disclosure
이 논문은 AI 윤리 분야에서 표준화된 공정성 지표의 부재가 자의적이고 모순적인 감사 결과를 초래한다는 점을 입증하며, 단 하나의 정답인 지표를 강제하기보다는 재무 분야의 대체 성과 지표와 유사한 공시 요건을 이행하는 것이 이러한 재량권을 유의미하게 줄이고 투명성을 높일 수 있다고 주장한다.
원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
당신이 법정의 판사라고 상상해 보십시오. 하지만 유죄와 무죄를 결정하는 대신, 한 컴퓨터 프로그램이 공정한지를 심판하는 역할을 맡았습니다. 인공지능(AI)의 세계에서 '공정성'은 키나 몸무게처럼 하나의 단순한 숫자가 아닙니다. 그것은 마치 레시피와 같습니다. 어떤 재료를 선택하고 각 재료를 얼마나 넣느냐에 따라 달콤한 케이크를 만들 수도, 신맛이 나는 케이크를 만들 수도, 혹은 완벽하게 균형 잡힌 케이크를 만들 수도 있습니다. 이와 마찬가지로, AI가 공정한지 측정하려면 어떤 '수학적 레시피'를 사용할지 선택해야 합니다. 어떤 사람들을 비교하기 위한 '그룹'으로 간주할지, 무엇을 '합격' 점수로 볼지, 그리고 어떤 구체적인 수학 공식을 실행할지를 결정해야 합니다.
오랫동안 전문가들은 어떤 레시피가 '옳은' 것인지를 두고 논쟁해 왔습니다. 어떤 이들은 "얼마나 많은 사람이 채용되었는지를 봐야 한다"고 말했고, 다른 이들은 "아니, 얼마나 많은 사람이 탈락했는지를 봐야 한다"고 말했습니다. 이 논문은 이 혼란스러운 주방 속으로 뛰어들어, 서로 다른 요리사들이 정확히 동일한 재료를 가지고 서로 다른 레시피를 사용했을 때 어떤 일이 벌어지는지 살펴봅니다. 핵심 질문은 이것입니다: 어떤 레시피를 고르느냐가 정말 중요한가? 결과는 아주 크고 울림 있는 "그렇다"였습니다. 만약 당신이 레시피를 바꾼다면, 컴퓨터가 단 하나도 바꾸지 않았음에도 불구하고, 이 AI는 "공정하다"는 판결에서 "편향되었다"는 판결로 뒤집힐 수 있습니다. 이것이 중요한 이유는 정부와 기업들이 대출, 직업, 심지어 법정에서의 자유까지 결정하는 데 있어 이러한 공정성 점수를 요구하고 있기 때문입니다. 만약 그 점수가 당신이 선택한 레시피에 전적으로 달려 있고, 아무도 어떤 레시피가 사용되었는지 알려주지 않는다면, 그 점수는 무의미해질 수 있습니다.
거대한 AI 공정성 뒤바뀜 (The Great AI Fairness Switcheroo)
이 논문은 저자인 셰이 차반(Shay Tsaban)이 매우 꼼꼼한 감사관 역할을 수행하는 거대한 실험과 같습니다. 저자는 네 가지 서로 다른 AI 시스템을 가져왔습니다. 하나는 플로리다 교도소에서 재범 가능성을 예측하는 데 사용되는 실제 도구였고, 나머지 세 개는 과학자들이 소득, 신용, 직업에 대한 편향을 점검하기 위해 사용하는 유명한 테스트 데이터셋이었습니다. 그러고 나서 저자는 단순히 한 번의 테스트를 수행한 것이 아니라, 무려 91,572개의 서로 다른 버전의 테스트를 실행했습니다.
이렇게 생각해 보십시오. 당신에게 AI 시스템을 나타내는 거대한 레고 상자가 있다고 상상해 보세요. 저자는 어떤 종류의 탑을 쌓게 될지 보기 위해 가능한 모든 '공정성 규칙'을 결합할 수 있는 기계를 만들었습니다. 저자는 공정성을 측정하는 모든 방어 가능한 방법을 시도했습니다. 수학 공식을 바꾸고, '합격'을 위한 커트라인 점수를 바꾸고, 비교할 집단을 바꾸고, 심지어 사용된 데이터의 특정 연도까지 바꾸어 보았습니다.
충격적인 결과: 판결이 뒤집히다
이 논문이 발견한 가장 놀라운 사실은, 테스트한 모든 시스템에 대해 결과가 앞뒤로 뒤집혔다는 것입니다. 저자가 살펴본 모든 7가지의 구체적인 사례(예: "흑인 대 백인 피고인" 또는 "남성 대 여성")에서, AI는 한 세트의 규칙 아래에서는 "공정하다"고 선언될 수 있었고, 다른 세트의 규칙 아래에서는 "불공정하다"고 선언될 수 있었습니다.
더 기막힌 점은, 때때로 "불이익을 받는 집단"(불공정하게 대우받는 쪽)이 바뀌기도 한다는 것입니다! 어떤 레시피 아래에서는 AI가 그룹 A를 해치고 있었지만, 똑같이 타당한 다른 레씨피 아래에서는 AI가 그룹 B를 해치고 있었습니다. 논문에 따르면 보고된 수치는 일반적인 "표본 오차"(무작위 확률로 인해 발생하는 아주 작은 변동 폭)보다 6배에서 30배까지 크게 휘둘릴 수 있었습니다. 실제로, 어떤 수학 공식을 사용하느냐가 최종 점수 차이의 **45%**를 결정했으며, 무작위 확률은 아주 미미한 부분만 움직였습니다.
"페어워싱(Fairwashing)" 문제
논문은 또한 기업과 정부가 현재 실제로 무엇을 하고 있는지 조사했습니다. 저자는 조직들이 자신들의 AI를 감사했다고 주장하는 6,797개의 공개 문서를 읽었습니다. 결과는 어떠했을까요? 거의 아무도 정보에 대해 공정하게 행동하지 않고 있었습니다.
- 거의 7,000개에 달하는 문서 중 구체적인 공정성 수치를 제시한 것은 단 38개뿐이었습니다.
- 그 38개 중에서도, 왜 그 특정 수학 레시피를 선택했는지 설명한 문서는 단 하나도 없었습니다.
- 어떤 다른 레시피를 고려했다가 거절했는지 설명한 것도 없었습니다.
- 현재의 점수를 작년의 점수와 비교하여 상황이 나아지고 있는지 악화되고 있는지 비교한 것도 없었습니다.
이것은 마치 요리사가 "이 케이크는 맛있습니다"라고 말하면서도, 설탕을 넣었는지 소금을 넣었는지, 혹은 10분 동안 구웠는지 한 시간 동안 구웠는지는 말해주기를 거부하는 것과 같습니다. 당신은 케이크가 실제로 맛있는 것인지, 아니면 그저 레시피 덕분에 운이 좋았던 것인지 알 수 없습니다.
해결책: "레시피 카드" 규칙
그렇다면 어떻게 해결해야 할까요? 이 논문은 금융계의 기법을 빌려오는 것을 제안합니다. 회계에서 기업들은 '조정 이익'(그들만의 방식의 이익)을 보고할 수 있지만, 반드시 표준 이익으로부터 그 숫자를 어떻게 도출했는지 설명하는 '조 reconciliation(조정/설명)' 표를 보여주어야 합니다.
저자는 AI 감사관들이 이와 똑같은 일을 해야 한다면 어떻게 될지 시뮬레이션을 돌려보았습니다. 만약 감사관들이 다음 네 가지 사항을 단순히 기록하기만 해도 된다면:
- 어떤 수학적 계열을 선택했는가 (레시피).
- 구체적으로 어떤 규칙을 사용했는가 (재료).
- 누구를 비교했는가 (손님).
- 규칙을 시간이 지나도 동일하게 유지했는가 (일관성).
...이 간단한 공시만으로도 "휘둘림(wiggle room)"의 **78%**를 닫을 수 있다는 것을 발견했습니다. 이는 단 하나의 '정답'인 레시피를 찾으려고 애쓰지 않고도 결과를 훨씬 더 일관되고 정직하게 만들 수 있는 방법입니다. 훨씬 더 나아가, 만약 그들이 점수가 시간에 따라 어떻게 변했는지도 함께 보고한다면, 휘둘림의 **82%**를 해결할 수 있습니다.
결론
논문은 우리가 이 혼란을 해결하기 위해 단 하나의 '완벽한' 공정성 정의라는 불가능한 수학 문제를 풀 필요는 없다고 결론짓습니다. 우리는 단지 선택 사항을 숨기는 것을 멈추기만 하면 됩니다. 만약 어떤 AI 시스템이 사용하는 자(ruler)를 바꾸는 것만으로도 '공정'하거나 '불공정'하다고 판단될 수 있다면, 그 자 자체가 보고서의 일부가 되어야 합니다.
현재, 사람들이 선택한 규칙을 밝히도록 강제한 후에도 남아 있는 "잔여(residual)" 문제, 즉 휘둘림의 폭은 척도상 약 0.16입니다. 이것이 투명성이 해결할 수 있는 한계입니다. 하지만 이 논문은 대부분의 혼란은 사람들이 자신들이 어떤 규칙을 따랐는지 말하지 않는 데서 온다는 것을 보여줍니다. 그들이 과정을 보여주도록 강제함으로써, 우리는 "동일한 시스템, 정반대의 판결" 게임을 끝내고 진짜 답을 얻기 시작할 수 있습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.