이 논문에서 말하는 **할루시네이션 (Hallucination)**은 AI 가 거짓말을 하는 것이 아니라, 아주 그럴듯하게 거짓된 사실을 만들어내는 현상을 말합니다.
비유: 상상해 보세요. 아주 유창하고 매너가 좋은 변호사가 있습니다. 그는 말실수를 하지 않고, 법조문도 인용하며, 아주 논리적으로 말을 이어갑니다. 하지만 문제는 그가 인용하는 판례나 사건이 실제로 존재하지 않는다는 것입니다. 마치 "어제 밤에 대법원에서 열린 사건"을 이야기하듯 아주 진지하게 거짓말을 합니다.
왜 위험할까요? AI 는 '진실'을 찾기 위해 만들어진 게 아니라, **'다음 단어가 무엇일지 확률적으로 예측'**하도록 만들어졌습니다. 즉, 문장이 매끄러운지만 중요하지 사실이 맞는지는 신경 쓰지 않습니다.
실제 사례: 논문에는 미국 판사가 AI 가 만들어낸 가짜 판례를 인용한 판결문을 작성했다가, 나중에 사실을 확인하고 당황하며 판결문을 철회한 사건이 나옵니다. AI 는 거짓말을 할 때 너무 자신감 넘치게 말하기 때문에, 전문가조차 속아 넘어가기 쉽습니다.
2. 우리는 AI 를 '신뢰할 수 있는 스승'으로 착각합니다 (과도한 의존)
두 번째 문제는 우리가 AI 를 너무 믿어버린다는 점입니다. 이를 **과도한 의존 (Overreliance)**이라고 합니다.
비유: AI 는 마치 **완벽해 보이는 '만능 비서'**처럼 행동합니다. 항상 친절하고, 즉시 답을 주며, 인간처럼 사과도 합니다. 사람들은 이런 매끄러운 대화 방식에 속아, AI 를 마치 **지식과 판단력이 완벽한 '스승'**이나 **'신'**처럼 여기게 됩니다.
심리적 함정: 우리는 AI 가 "이렇게 계산했습니다"라고 말하면, 그걸 의심하지 않고 그대로 받아들이는 경향이 있습니다. 마치 컴퓨터가 계산한 숫자는 100% 정확하다고 믿는 것과 비슷합니다. 하지만 AI 는 가끔 엉뚱한 숫자를 계산해낼 수도 있습니다.
위험성: 변호사나 판사가 AI 의 말을 무조건 믿고 자신의 판단을 맡겨버리면, **법률적 사고력 (Critical Thinking)**이 퇴화합니다. 마치 운전대를 AI 에게 맡긴 채 눈을 감고 운전하는 것과 같습니다.
3. '왜 그렇게 판단했는지' 설명할 수 없습니다 (설명 불가능성)
법률에서 가장 중요한 원칙 중 하나는 **"왜 이런 판결을 내렸는지 그 이유를 설명할 수 있어야 한다"**는 것입니다. 하지만 AI 는 이 부분에서 완전히 실패합니다.
비유: AI 는 검은 상자 (Black Box) 안에 있습니다. 우리는 AI 가 답을 내놓은 결과만 볼 뿐, 그 안에서는 어떤 생각의 과정이 일어났는지 알 수 없습니다.
문제점: 만약 AI 가 "이 사람은 유죄입니다"라고 말한다면, 우리는 그 이유를 물어볼 수 있습니다. 하지만 AI 가 "이건 통계적으로 유죄일 확률이 높아요"라고만 하고, 그 통계의 근거가 사실은 존재하지 않는 가짜 데이터라면 어떻게 될까요?
결론: AI 가 만들어낸 거짓말 (할루시네이션) 과 우리가 너무 쉽게 믿는 습관 (과도한 의존) 이 합쳐지면, 법적 판결의 근거가 완전히 무너집니다. 유럽의 AI 법규 (GDPR, AI 법) 는 이런 상황을 막기 위해 "AI 가 어떻게 결론을 내렸는지 설명하라"고 하지만, 현재 기술로는 AI 가 거짓말을 할 때 그 이유를 제대로 설명해 주는 것이 거의 불가능합니다.
📝 결론: 저자가 말하는 최종 메시지
이 논문의 저자는 **"현재 기술 수준에서는 법률 분야에서 AI 를 routinely(일상적으로) 사용하는 것은 위험하다"**고 결론 내립니다.
요약: AI 는 훌륭한 '도구'일 수는 있지만, 아직은 '판단자'가 될 수 없습니다.
제안: AI 가 거짓말을 하지 않고, 우리가 그걸 맹신하지 않도록 하는 기술적, 제도적 장치가 완벽하게 마련되기 전까지는, 법률 결정에 AI 를 사용하는 것을 자제해야 합니다.
한 줄 요약:
"매우 유창하게 거짓말을 잘하는 AI 를 너무 믿으면, 우리 법 체계의 진실과 정의가 무너질 수 있으니, 당분간은 AI 를 '비서'로만 쓰고 '판사'나 '변호사'로 쓰지 말아야 합니다."
논문 기술 요약
1. 문제 제기 (Problem)
본 논문은 법률 전문 분야에서 생성형 인공지능 (GenAI) 의 도입이 가져오는 심각한 인지적 (epistemic) 및 법적 위험을 다루고 있습니다. 주요 문제는 다음과 같습니다:
환각 (Hallucination/Confabulation): 대규모 언어 모델 (LLM) 이 사실적 정확성보다 언어적 유창성을 우선시하여 존재하지 않는 판례, 인용문, 사실을 그럴듯하게 생성하는 현상. 이는 법률적 신뢰성을 근본적으로 훼손합니다.
과의존 (Overreliance): 법률 전문가들이 AI 의 권위적인 어조와 인간과 유사한 대화 능력에 매료되어, 비판적 검증 없이 알고리즘의 출력을 맹신하는 현상 (자동화 편향, Automation Bias).
설명 가능성 (Explainability) 의 붕괴: 환각된 데이터와 불투명한 알고리즘의 결합으로 인해, EU 의 GDPR 및 AI 법 (AI Act) 이 요구하는 '의미 있는 설명'과 '인간 감독'이 형식적으로만 남게 되어 사법 독립과 기본권 보호가 위협받는 상황입니다.
2. 연구 방법론 (Methodology)
이 연구는 다음과 같은 방법론적 접근을 통해 문제를 분석합니다:
개념적 정의 및 역사적 분석: 'Generative Legal AI (GLAI)'를 법률 도메인에 특화된 시스템 (문서 작성, 판결 지원 등) 으로 정의하고, AI 의 3 가지 역사적 파동 (규칙 기반, 통계적 머신러닝, 딥러닝/생성형) 을 추적하여 GLAI 의 기술적 진화 과정을 규명합니다.
국제 보고서 비교 분석: 유럽사법효율위원회 (CEPEJ) 와 국제변호사협회 (IBA) 의 보고서를 분석하여 GLAI 가 법률 정보 검색, 문서 작성, 의사결정 지원, 법률 상담, 온라인 분쟁 해결 (ODR) 등 5 가지 기능 영역에 어떻게 통합되어 있는지 파악합니다.
규제 프레임워크 분석: EU 의 일반개인정보보호법 (GDPR, 제 22 조) 과 AI 법 (AI Act, 제 13-14 조) 의 고위험 시스템에 대한 설명 가능성 및 인간 감독 의무를 분석하여, GLAI 의 기술적 결함 (환각) 이 이러한 법적 요구사항을 어떻게 위반하는지 논증합니다.
사례 연구 (Case Studies): 미국 뉴저지 연방지방법원의 판사가 AI 환각으로 인해 판결문을 철회한 사건, 노르웨이 개인의 허위 살인 혐의를 생성한 ChatGPT 사례, 터키 집행관실의 AI 계산 오류 사례 등을 통해 실제 법적 피해와 위험을 구체화합니다.
3. 주요 기여 (Key Contributions)
GLAI 의 기술적 본질 규명: GLAI 가 법적 추론 (Legal Reasoning) 을 수행하는 것이 아니라, 통계적 토큰 예측 (Statistical Token Prediction) 에 기반하여 '확률적 조작 (Stochastic Fabrication)'을 수행한다는 점을 명확히 했습니다. 이는 법률의 '진실' 요구와 기술의 '유창성' 요구 사이의 근본적 불일치를 지적합니다.
환각과 과의존의 상호작용 메커니즘 규명: 환각이 생성된 데이터가 인간 사용자의 '자동화 편향'을 자극하여 비판적 사고를 마비시키고, 이로 인해 설명 가능성의 원칙이 실질적으로 무력화되는 악순환 구조를 제시했습니다.
법적 맥락에서의 설명 가능성 재정의: 일반적인 AI 설명 가능성 (예: 피처 중요도) 이 법률적 논증 구조 (논증, 반박, 법리 해석) 를 포착하지 못함을 지적하고, 법률 도메인에 특화된 '도메인 인식형 설명 가능성 (Domain-aware Explainability)'의 필요성을 강조했습니다.
규제적 한계 지적: AI 법이 완전히 시행되기 전이며, 현재 기술 수준에서 환각과 과의존을 완전히 해결할 수 없으므로, 법적 결정에 GLAI 를 routine(일상적) 으로 사용하는 것은 위험하다고 경고합니다.
4. 연구 결과 (Results)
기술적 한계: LLM 은 훈련 데이터의 통계적 패턴을 학습할 뿐, 사실의 진위를 검증하지 못합니다. 따라서 법률적 정확성이 요구되는 환경에서 '환각'은 피할 수 없는 구조적 결함입니다.
심리적 영향: 인간은 AI 의 사회적 단서 (언어적 유창성, 사과 기능 등) 에 반응하여 무의식적으로 신뢰하게 되며, 이는 법률 전문가의 핵심 역량인 '법적 추론' 능력을 위축시킵니다.
규제적 충돌: 환각으로 인한 사실 오류는 GDPR 의 '정확성 원칙'과 AI 법의 '고위험 시스템 관리 의무'를 위반하며, 이로 인해 피해 구제나 책임 소재 파악이 불가능해집니다.
현실적 결론: 현재 기술 수준에서는 GLAI 의 환각과 과의존 문제를 완전히 해결할 수 없으므로, 법적 결정 (Judicial Decision-making) 이나 중요한 법률 업무에 GLAI 를 일상적으로 도입하는 것은 법률 및 윤리 기준과 양립할 수 없다는 결론에 도달했습니다.
5. 의의 및 시사점 (Significance)
법률 AI 윤리 및 거버넌스: 법률 분야에서 AI 도입을 무조건적으로 환영하는 흐름에 대해 경종을 울리며, '효율성'보다 '정확성'과 '책임성'이 우선되어야 함을 강조합니다.
입법 및 정책 제언: EU 의 AI 법 및 관련 규제가 형식적 준수를 넘어, 실제 기술적 결함 (환각) 을 고려한 실질적인 인간 감독 (Meaningful Human Oversight) 메커니즘을 마련해야 함을 요구합니다.
미래 방향성: "설계 단계에서의 설명 가능성 (Explainable by Design)"이 필요하지만, 이는 법률의 논증적 구조를 반영해야 하며, 현재 기술이 이를 충족하지 못한다면 GLAI 의 법적 활용은 신중하게 제한되어야 함을 시사합니다.
결론적으로, 이 논문은 생성형 AI 가 법률 분야에서 가진 기술적 본질적 결함 (환각) 과 심리적 위험 (과의존) 이 결합되어 사법 시스템의 근간인 설명 가능성과 공정성을 위협한다고 주장하며, 당분간은 GLAI 의 법적 활용을 자제할 것을 강력히 권고합니다.