Automation Bias in the AI Act: On the Legal Implications of Attempting to De-Bias Human Oversight of AI

개요: "인간 참여(Human in the Loop)"의 문제

당신이 매우 발전된 자율 주행 기능이 있는 자동차를 운전하고 있다고 상상해 보세요. 법은 당신이 반드시 핸들을 잡고 있어야 하며, 자동차가 실수를 할 경우 즉시 개입할 준비가 되어 있어야 한다고 규정합니다. 이것이 바로 유럽연합(EU)의 **AI 법(AI Act)**이 말하는 "인간의 감독(human oversight)"입니다.

하지만 이 논문의 저자들은 **자동화 편향(Automation Bias)**이라는 인간 심리의 위험한 결함을 지적합니다. 이는 마치 승객이 GPS를 너무 믿은 나머지, GPS가 길을 안내해 호수로 빠져들고 있음에도 불구하고 도로를 보지 않고 있는 것과 같습니다. 인간은 본성적으로 기계에 과도하게 의존하며, 기계는 항상 옳고 자신의 판단은 틀릴 것이라고 가정하는 경향이 있습니다.

AI 법은 이 문제를 명시적으로 언급한 최초의 법안입니다. 이 법은 AI 시스템을 구축하는 기업들이 인간 운영자가 기계를 너무 신뢰할 수 있다는 점을 **인지(aware)**하도록 만들어야 한다고 규정합니다.

핵심 문제: 그 "결함"의 책임은 누구에게 있는가?

이 논문은 법이 마치 건축가에게 설계 결함을 고치라고 말하는 건설 현장처럼, 설계자와 시공자 사이의 불일치를 겪고 있다고 주장합니다.

1. 설계자 (AI 제공자/Provider): 법은 AI를 만드는 기업에게 인간 운영자가 기계를 과신할 위험이 있다는 것을 알리도록 요구합니다. 이들은 인간이 경계심을 유지할 수 있도록 시스템을 설계해야 합니다.
2. 시공자 (AI 배포자/Deployer): 이는 실제로 AI를 사용하는 기업이나 개인을 의미합니다 (예: 환자를 진단하기 위해 AI를 사용하는 병원, 또는 대출 승인을 위해 AI를 사용하는 은행).

불일치: 논문은 "자동화 편향"이 단순히 기계의 설계 때문에 발생하는 것이 아니라고 설명합니다. 그것은 환경에 의해서도 발생합니다. 인간 운영자가 피곤한 상태인가요? 업무 압박이 너무 심한가요? 사무실이 시끄러운가요? 받은 교육은 충분한가요?

• **설계자(제공자)**는 **시공자(배포자)**의 직원이 얼마나 피곤한지를 통제할 수 없습니다.
• **시공자(배포자)**는 업무 환경, 교육, 그리고 업무량을 통제합니다.

저자들은 시공자의 작업장에서 발생하는 문제에 대해 설계자에게만 책임을 묻는 것은 불공평하다고 주장합니다. 양측 모두 인간 운영자가 경계심을 유지하도록 할 책임이 있습니다.

"인지(Awareness)"의 함정: 누군가가 "인지"하지 못했다는 것을 어떻게 증명할 것인가?

법은 인간이 자신의 편향을 "인지"하도록 만들 것을 요구합니다. 저자들은 까다로운 법적 질문을 던집니다. 법정에서 누군가가 인지하지 못했다는 것을 어떻게 증명할 수 있을까요?

• "독심술"의 문제: 사람의 머릿속을 들여다보고 그 사람이 "이걸 꼭 재확인해야지"라고 생각했는지 확인할 수는 없습니다.
• "정답(Ground Truth)"의 문제: 인간이 편향된 실수를 했는지 알기 위해서는 "정답"을 알아야 합니다. 하지만 채용 결정이나 법적 판결 같은 많은 경우, 모두가 동의하는 단 하나의 정답은 존재하지 않습니다. 만약 AI가 "이 사람을 채용하라"고 하고 인간이 "아니오"라고 했다면, 누가 옳은 걸까요? 만약 인간이 AI를 맹목적으로 믿어서 "예"라고 답했다면, 정답(그 정답 자체가 존재하지 않을 수도 있는)을 모르는 상태에서 어떻게 그 사람이 편향되었다고 증명할 수 있을까요?

이 때문에 논문은 이 법의 위반을 증명하는 것이 매우 어려울 것이라고 제안합니다. 이는 단순히 한 번의 잘못된 결정만을 보는 것이 아니라, 시스템이 편향을 유도하도록 설계되었는지에 대해 **전문가 증인(심리학자)**이 증언하는 방식에 의존하게 될 것입니다.

"과잉 교정"의 위험

저자들은 또한 부작용에 대해서도 경고합니다. 만약 우리가 인간에게 "AI를 믿지 마세요!"라고 말한다면, 그들은 반대로 행동할 수 있습니다.

• 비유: 선생님이 학생에게 "계산기를 믿지 마라"고 말한다고 가정해 봅시다. 그러면 학생은 계산기가 맞을 때조차 계산기를 무시하고 직접 계산을 하다가 오히려 실수를 하게 될 수 있습니다.
• 이것을 **알고리즘 혐오(Algorithm Aversion)**라고 합니다. 만약 인간이 과잉 교정하여 AI를 너무 많이 무시하게 된다면, 기술의 이점을 잃게 됩니다. 현재의 법은 AI를 너무 믿는 위험에만 집중하고 있지만, 역설적으로 인간이 AI를 너무 불신하게 만드는 새로운 편향을 만들어낼 수도 있습니다.

규칙의 "허점"

논문은 교묘한 허점을 지적합니다. AI 법에는 엄격한 규칙을 따라야 하는 "고위험(High-Risk)" 시스템 목록이 있습니다. 그러나 *"만약 AI가 인간을 대체하는 것이 아니라 단순히 돕는 역할이라면, '고위험'이 아닐 수도 있다"*라는 규칙이 있습니다.

저자들은 이것이 위험하다고 주장합니다. 설령 AI가 단지 "돕는" 역할일지라도, 인간은 여전히 그 조언을 맹목적으로 따를 수 있기 때문입니다(자동화 편향). 기업들이 스스로의 AI가 "고위험"인지 아닌지를 결정하게 함으로써, 법은 인간이 기계에 과도하게 의존하고 있음에도 불구하고 아무도 이를 점검하지 않는 위험한 상황을 놓칠 수 있습니다.

해결책: 법이 아닌 과학을 바라보라

저자들은 현재의 법이 너무 모호하며, 단일한 심리학적 개념(자동화 편향)에만 의존할 뿐 이를 어떻게 해결할지에 대해서는 설명하지 못하고 있다고 결론짓습니다.

그들은 해결책으로 **"조화된 표준(Harmonized Standards)"**을 제안합니다.
이 표준들을 법이 요구하는 "사용 설명서"라고 생각하면 됩니다. 저자들은 이 설명서가 다음과 같은 내용을 담아야 한다고 제안합니다:

1. 최신 과학을 참조할 것: 단순히 "인지하라"고 말하는 대신, "인간이 AI와 상호작용하는 방식에 대한 최신 연구를 따르라"고 구체적으로 명시해야 합니다.
2. 모든 편향을 포함할 것: AI를 너무 믿는 것에만 집중하지 말고, 인간이 기술과 상호작용하며 저지를 수 있는 모든 종류의 실수를 살펴봐야 합니다.
3. 모두에게 책임을 물을 것: AI를 만드는 사람과 사용하는 사람 모두가 인간 운영자가 경계심을 유지하도록 할 책임을 공유해야 합니다.

요약

이 논문은 EU의 새로운 AI 법이 인간의 심리 문제(기계를 너무 신뢰하는 것)를 해결하려 하지만, 그 문제를 해결할 책임이 누구에게 있는지, 그리고 그것이 해결되었음을 어떻게 증명할지에 대해서는 아직 방법을 찾아내지 못했다고 경고합니다. 저자들은 법이 더 유연해지고, 실제 과학적 연구에 기반하며, AI의 창작자와 사용자 모두가 인간의 통제권을 유지하기 위한 책임을 나누어 가져야 한다고 주장합니다.