Epistemic Trustworthiness in Generative AI: A Normative Framework for Warranted Reliance in High-Stakes Workflows

당신이 거대하고 마법 같은 도서관을 걷고 있다고 상상해 보세요. 그곳의 책들은 당신에게 말을 걸 수 있습니다. 이 도서관은 단순히 일반적인 곳이 아닙니다. 이곳은 우리가 답을 얻고, 문제를 해결하며, 중대한 결정을 내리는 방식의 미래입니다. 이 "말하는 책들"은 생성형 AI 시스템, 즉 이야기를 쓰고, 수학 문제를 풀며, 인간 전문가처럼 조언을 해줄 수 있는 매우 똑똑한 컴퓨터 프로그램입니다. 하지만 여기 함정이 있습니다. 이 책들은 매우 자신감 있게 말하는 데 능숙합니다. 이들은 완벽하고 유려한 문장으로 말하며 당신이 마치 그들이 모든 것을 알고 있는 것처럼 느끼게 만듭니다. 이는 까다로운 상황을 만듭니다. 만약 어떤 책이 매끄럽고 확신에 차 있다면, 당신은 그것을 믿어야 할까요? 아니면 멈춰 서서 이렇게 물어야 할까요? "잠깐, 너 정말 이걸 알고 있는 거야, 아니면 그냥 멋있어 보이려고 지어내는 거야?"

이 논문은 과학의 특정 분야인 **인식론(epistemology)**을 깊이 파고듭니다. 인식론이란 단지 "우리가 무엇을 어떻게 아는가"를 뜻하는 멋진 표현일 뿐입니다. 이 논문은 아주 단순하지만 거대한 질문을 던집니다. 언제 실제로 컴퓨터의 답변을 신뢰하는 것이 '괜찮은가'? 저자들은 AI가 일반적인 의미에서 정확하고, 안전하며, 공정하다고 해서, 의료 진단이나 법률 사건처럼 중요한 일에 그 답변을 사용하는 것이 정당화되는 것은 아니라고 주장합니다. 저자들은 우리가 이 AI "말하는 책들"을 진정으로 의지하기 위해서는, 시스템이 세 가지 특정한 것들을 우리에게 보여주어야 한다고 제안합니다. 즉, 시스템은 자신이 불확실할 때 이를 인정해야 하고, 자신이 어떻게 답을 얻었는지 그 내부를 들여다볼 수 있게 해주어야 하며, 우리의 지식과 경험을 무시하는 것이 아니라 존중해야 한다는 것입니다.

---

"신뢰할 수 있는 로봇" 테스트: 옳다는 것만으로는 충분하지 않은 이유

당신의 숙제를 도와주는 '지니(Genie)'라는 이름의 로봇 비서가 있다고 상상해 보세요. 지니는 놀랍습니다. 완벽하게 들리는 에세이를 쓰고, 방정식을 즉각적으로 풀며, 절대 지치지 않습니다. 그런데 어느 날, 당신은 학교 과학 박람회를 위한 다리를 건설하는 아주 중요한 프로젝트를 도와달라고 지니에게 요청합니다. 지니는 훌륭해 보이는 계획안을 줍니다. 그것은 완벽한 영어로 쓰여 있고, 매우 자신감 있게 들립니다.

이제, 이 논문이 지적하는 큰 문제가 여기에 있습니다: 지니가 자신감 있게 말한다고 해서 당신이 그 다리를 건설해도 안전하다는 뜻은 아닙니다.

이 논문의 저자들은 당신이 지니를 진정으로 신뢰하기 위해(그들이 "인식론적으로 정당화된 의존"이라고 부르는 개념) 지니가 세 가지 특정 테스트를 통과해야 한다고 말합니다. 만약 지니가 단 하나라도 통과하지 못한다면, 에세이가 아무리 좋아 보여도 당신은 그 다리를 건설해서는 안 됩니다.

1. "모른다" 버튼 (인식적 겸손)

첫째, 지니는 겸손해야 합니다. 현실 세계에서 똑똑한 사람들은 자신의 한계를 압니다. 그들은 "이 부분은 잘 모르겠습니다"라거나 "답변하기 전에 교과서를 확인해 봐야겠습니다"라고 말합니다.

• 비유: 지니가 투어 가이드라고 상상해 보세요. 신뢰할 수 있는 가이드는 "성으로 가는 길은 알지만, 그 뒤에 있는 동굴에 대해서는 잘 모르니 조심합시다"라고 말합니다. 나쁜 가이드(이 테스트를 통과하지 못한 가이드)는 절벽으로 걸어가고 있으면서도 "나는 모든 것을 알고 있다!"라고 말할 수도 있습니다.
• 논문의 발견: 저자들은 많은 AI 시스템이 이 나쁜 가이드와 같다는 것을 발견했습니다. 그들은 틀린 답을 내놓으면서도 100%의 확신을 가지고 말합니다. 더 나쁜 것은, 당신이 "확실해요?"라고 물었을 때, 심지 even 내용을 지어내고 있음에도 불구하고 "네, 정말 확실합니다!"라며 의견을 굽히지 않는다는 점입니다. 논문은 신뢰할 수 있는 AI라면 단순히 아는 척을 하는 대신, "잘 모르겠습니다, 대신 이렇게 하시는 것을 권장합니다"라고 말할 수 있어야 한다고 주장합니다.

2. "풀이 과정 보여주기" 규칙 (인식적 접근성)

둘째, 지니는 자신이 어떻게 생각하는지 당신에게 보여주어야 합니다. 학교에서 만약 당신이 수학 문제를 맞혔더라도 풀이 과정을 보여주지 않는다면, 선생님은 당신이 운이 좋았던 것인지 확인할 수 없기 때문에 여전히 꾸짖을 수 있습니다.

• 비유: 지니가 당신에게 보물 지도를 준다고 상상해 보세요. 신뢰할 수 있는 지니는 단순히 지도만 건네주는 것이 아니라, 지도를 그릴 때 사용한 나침반, 오래된 일지, 그리고 단서들을 보여줍니다. 즉, 단서들을 확인할 수 있게 해줍니다. 나쁜 지니는 단서 하나 보여주지 않고 그냥 지도를 건네며 "믿어봐, 보물은 여기 있어!"라고 말할 뿐입니다.
• 논문의 발견: 저자들은 변호사와 의사들이 사용하는 AI 도구들을 조사했습니다. 그들은 AI가 정답을 제시할 때조차 그 답을 어떻게 찾아냈는지 숨기는 경우가 많다는 것을 발견했습니다. 때때로 AI는 존재하지 않는 책을 인용하거나, 이미 수년 전에 폐지된 법률을 인용하기도 했습니다. 논문은 만약 당신이 그 "단서들"(증거)을 확인할 수 없다면, 목적지가 올바르게 보인다 하더라도 그 지도를 진정으로 신뢰할 수 없다고 말합니다.

3. "내 말을 들어줘" 규칙 (인식적 부정의에 대한 저항)

셋째, 지니는 당신을 존중해야 합니다. 지니는 당신의 지식과 배경을 중요한 것으로 취급해야 합니다.

• 비유: 당신이 동네 문제에 대해 지니와 이야기하고 있다고 상상해 보세요. 신뢰할 수 있는 지니는 당신의 이야기를 듣고 "그 말이 일리가 있군요, 그리고 이것을 해결할 방법은 이렇습니다"라고 말합니다. 나쁜 지니는 당신이 "전문가"처럼 들리지 않는다는 이유로 당신의 이야기를 무시하거나, 당신의 경험을 교과서보다 덜 중요한 것으로 취급할 수 있습니다.
• 논문의 발견: 논문은 AI가 사람의 정체성에 따라 사람들을 다르게 대할 수 있음을 보여줍니다. 예를 들어, 한 연구에서 AI는 의사에게는 상세한 의료 조언을 제공했지만, 똑같은 질문을 하는 환자에게는 도움을 주지 않고 "그냥 의사를 만나보세요"라고만 말했습니다. AI가 기술적인 의미에서 "위험"했던 것은 아니었습니다. 단지 환자에게 무례하고 무시하는 태도를 보였을 뿐입니다. 저자들은 신뢰할 수 있는 AI라면 모든 사람의 목소리를 듣고 이해받을 권리를 존받아야 한다고 주장합니다.

"세 다리 의자" 규칙

이 논문이 발견한 가장 중요한 점은 이 세 가지 규칙이 의자의 다리와 같다는 것입니다. 당신은 이 세 가지가 모두 필요합니다.

• 만약 지니가 겸손하고 풀이 과정을 보여주지만, 당신의 배경을 무시한다면, 의자는 넘어집니다.
• 만 만약 지니가 당신을 존중하고 풀이 과정을 보여주지만, 자신이 불확실할 때 결코 인정하지 않는다면, 의자는 넘어집니다.
• 만약 지니가 겸손하고 당신을 존중하지만, 어떻게 답을 얻었는지 보여주지 못한다면, 의자는 넘어집니다.

논문은 실생활의 사례들을 통해 이를 증명합니다. 저자들은 변호사들이 법원 문서를 작성하기 위해 AI를 사용했을 때, AI가 가짜 판례를 만들어낸 사례를 살펴보았습니다. 그 결과 변호사들은 곤경에 처했습니다. 논문은 이것이 단순한 "실수"가 아니라, AI가 겸손하지 못했고(자신이 지어내고 있다는 말을 하지 않음) 접근성이 부족했기(변호사들이 그 판례가 실제인지 쉽게 확인할 수 없었음) 때문에 발생한 실패라고 말합니다.

또한 채용 지원자들의 순위를 매기는 AI 채용 도구들도 살펴보았습니다. 설령 AI가 일반적인 의미에서 "공정"하더라도, 이름 등을 근거로 사람들의 순위를 낮게 매기는 경우가 있었습니다. 이는 "당신의 말을 듣는 것"(인식적 부정의에 대한 저항)에 대한 실패였습니다.

그렇다면, 우리는 무엇을 해야 하는가?

논문은 우리가 단순히 AI를 더 "똑똑하게" 혹은 더 "정확하게" 만드는 데 집중해서는 안 된다고 제안합니다. 우리는 AI와 대화하는 방식과 AI를 설계하는 방식을 바꿔야 합니다.

• "마찰(Friction)" 추가하기: 저자들은 때때로 컴퓨터가 사용하기 조금 더 어렵게 만들어야 한다고 제안합니다. 예를 들어 AI가 "이 부분에 대해서는 100% 확신할 수 없으니, 이 출처를 사용하기 전에 반드시 재확인하십시오"라고 말하는 식입니다. 이러한 "마찰"은 당신이 AI를 맹목적으로 신뢰하는 것을 막아줍니다.
• 의자 확인하기: 병원이나 법정처럼 중대한 결정을 내리는 데 AI의 도움을 받기 전에, 우리는 세 가지 다리를 모두 확인해야 합니다. 이 시스템은 겸손한가? 우리는 그 풀이 과정을 볼 수 있는가? 그리고 우리를 존중하는가? 만약 어느 한 다리라도 없다면, 우리는 그 일을 위해 이 AI를 사용해서는 안 됩니다.

요약하자면, 이 논문은 옳다는 것만으로는 충분하지 않다고 말합니다. 로봇을 진정으로 신뢰하기 위해서는, 로봇이 자신이 모르는 것에 대해 정직해야 하고, 자신의 숙제(풀이 과정)를 보여주어야 하며, 우리를 진정한 답변을 받을 자격이 있는 똑똑한 사람으로 대우해야 합니다. 만약 이 세 가지를 모두 수행한다면, 우리는 마침내 "좋아, 너를 믿을게"라고 말할 수 있을 것입니다. 그렇지 않다면, 우리는 우리 자신의 뇌를 운전석에 두어야 합니다.