Humanwashing -- It Should Leave You Feeling Dirty

기술 요약: 휴먼워싱 - 불쾌감을 남기어야 합니다

문제 제기
본 논문은 AI 의사결정 시스템의 주요 보증 메커니즘으로 '휴먼 인 더 루프 (HITL)'라는 문구의 광범위하고 종종 비판 없는 사용에 대해 다룹니다. 규제 기관, 개발자, 비평가들이 편향, 차별, 책임성, 투명성과 관련된 우려를 완화하기 위해 HITL 을 자주 언급하지만, 저자들은 배포된 의사결정 맥락에 적용될 때 이 은유가 근본적으로 결함이 있다고 주장합니다. 핵심 문제는 제어 이론과 로봇공학에서 유래한 '루프'는유지가 정보적 포용과 통제 또는 의사결정 권한을 혼동한다는 점입니다. 이러한 혼동은 인간 - 기계 결합의 실제 과정과 결과를 흐리게 하여, 경험적 증거 없이 개선된 감독이나 성과를 입증하지 않은 채 결함 있는 알고리즘을 합법화하고 책임을 회피하는 '휴먼워싱 (humanwashing)'이라는 관행을 가능하게 합니다. 이는 '그린워싱 (greenwashing)'과 유사한 관행으로, 단순히 인간의 존재를 표시하는 것만으로도 결함 있는 알고리즘을 정당화하는 것을 의미합니다.

방법론 및 분석 접근
본 논문은 경험적 실험이 아닌 비판적 개념 분석을 사용합니다. 저자들은 다음과 같은 작업을 수행합니다:

1. 은유의 해체: '루프' 개념의 기원을 제어 이론 (예: Sheridan, Billings, Endsley & Kiris) 에서 추적하여 *제어 루프 (센서 - 작동기 피드백 경로)*와 *정보 루프 (상황 인식)*를 구분합니다. 저자들은 의사결정 시스템이 제어 루프에 내재된 복귀 경로가 부재하므로, 이 은유가 추론 기반 AI 에게는 기술적으로 부정확하다고 주장합니다.
2. 기존 문헌 검토: 저자들은 인간-AI 의사결정 시스템에 대한 100 편 이상의 동료 검토 연구 결과 (Vaccaro 등 인용) 를 종합하여, 인간-AI 결합이 종종 최선의 단일 에이전트보다 성능이 떨어지는 역설적인 성능 데이터를 강조합니다.
3. 규제 프레임워크 분석: 본 논문은 EU AI 법, GDPR, 영국 정부 백서 등을 검토하여 '자율성'과 '인간 감독'에 대한 법적 정의가 어떻게 시스템이 엄격한 책임이나 투명성 요구 사항에서 제외되면서도 형식적으로 '휴먼 인 더 루프'로 간주될 수 있는 허점을 만드는지 보여줍니다.
4. 결합의 분류 체계 제안: 선형적인 루프 대신, 저자들은 작업 중첩, 시간적 패턴, 정보적 근접성, 그리고 인간과 기계 간의 주도권 순서와 같은 요소를 고려하는 다차원적 프레임워크인 '결합 공간 (combination space)'을 분석할 것을 옹호합니다.

주요 기여

• '루프' 은유에 대한 비판: 본 논문은 '루프'가 추상적 의사결정에 존재하지 않는 행동의 복귀 경로를 암시하므로 의사결정 시스템을 설명하는 데 부적절하다고 입증합니다. 이는 *모니터링 (수동적 정보 흐름)*과 *제어 (능동적 지시 흐름)*를 구분하며, 현재의 HITL 수사학이 종종 이 두 가지를 혼동한다고 주장합니다.
• '휴먼워싱'의 정의: 저자들은 의미 있는 인간 개입의 부재나 성능 저하 가능성을 공개하지 않은 채 안전성과 책임성에 대한 환상을 조성하기 위해 HITL 라벨을 전략적으로 사용하는 '휴먼워싱'을 창안하고 정의합니다.
• '결합 공간'의 재구성: 본 논문은 이진법적인 '루프 안/밖'에서 인간 - 기계 상호작용의 풍부하고 다차원적인 공간으로 초점을 이동시킵니다. 효과적인 감독은 누가 관여하는지, 그들의 위치, 가시성, 그리고 개입의 시기와 효율성에 관한 구체적인 설계 선택에 달려 있음을 강조합니다.
• 맥락의 차별화: 저자들은 '루프'가 모델이 인간 피드백을 통해 반복적으로 개선되는 *상호작용형 머신러닝 (훈련 단계)*에서는 유효할 수 있지만, 이것이 추론이나 배포된 의사결정 맥락으로 전환되지 않는다고 명확히 합니다.

결과 및 발견

• 성능 저하: Vaccaro 등 인용에 따르면, 인간-AI 결합은 특히 의사결정 작업에서 단독으로 작동하는 최선의 인간 또는 AI 에이전트보다 현저히 낮은 성능을 보이는 경우가 많습니다. 개선된 AI 모델은 역설적으로 더 나쁜 결합 결과를 초래할 수 있습니다.
• 규제 격차: 법적 프레임워크는 종종 인간이 관여하는 시스템을 엄격한 투명성 및 책임 요구 사항에서 제외합니다 (예: GDPR 제 22 조). 이는 개발자들에게 실질적인 감독 메커니즘 없이 HITL 지위를 주장하도록 유인합니다.
• 경험적 증거의 부재: HITL 이 자동으로 의사결정 품질이나 책임성을 향상시킨다는 주장을 뒷받침하는 경험적 증거는 부족합니다. 오히려 감독 정책은 결함 있는 알고리즘을 합법화하는 수단으로 작용하는 경우가 많습니다.
• 상호작용 패턴의 다양성: 인간 - 기계 상호작용에 대한 기존 연구는 '루프'로 정확하게 설명할 수 없는 다양한 상호작용 패턴을 보여주며, 더 세분화된 분류 체계의 필요성을 시사합니다.

의의 및 주장
본 논문은 '휴먼 인 더 루프'라는 은유의 무분별한 사용이 복잡하고 다차원적인 사회기술적 문제를 단순한 선형 서사로 축소함으로써 안전하고 책임 있는 AI 시스템의 개발을 방해한다고 주장합니다. 저자들은 커뮤니티가 '결합 공간의 풍부함'을 이해하기 위해 루프 은유를 넘어설 필요가 있다고 주장합니다.

이 연구의 의의는 인간 - 기계 의사결정 시스템에 대해 더 차별적이고 경계심 있는 접근을 요구하는 데 있습니다. 저자들은 연구자와 실무자들에게 다음과 같이 요청합니다:

1. 훈련 (학습) 과 추론 (의사결정) 맥락을 구분할 것.
2. 인간 감독의 주장된 효과에 대한 경험적 증거를 요구할 것.
3. 의미 있는 개입 능력이 없다면 HITL 라벨은 아마도 '휴먼워싱'일 가능성이 높음을 인식할 것.

본 논문은 추상적 주장이 아닌 상황화된 작업의 현실에 인간 감독에 대한 이해를 근거로 하기 위해 STS 및 CSCW 전통을 차용한 정량적 설문 및 정성적 민족지 연구를 포함한 연구 과제를 제안하며 마무리합니다. 궁극적인 목표는 인간과 기계를 의사결정에 결합하는 실제 메커니즘과 결과에서 주의를 분산시키는 '휴먼워싱'을 중단하는 것입니다.