💬 NLP

Can LLMs Reason in a Legally Meaningful Manner? A Small-scale Study on European Court of Human Rights Cases

본 연구는 유럽 인권 재판소 판례에 대해 법적으로 유의미한 추론을 수행하는 최상위 LLM의 능력을 평가하며, 해당 모델이 구조적으로는 완전하지만 실질적으로는 피상적인 분석을 생성하고 자동 평가 도구가 인간의 판단과 일치하지 못하는 반면, 전문가 수준의 프롬프팅은 예측 정확도를 높이지는 못해도 추론의 깊이를 개선한다는 점을 밝혀냈다.

원저자: Amogh Raina, Ilias Chalkidis, Daniel Hershcovich, Henrik Palmer Olsen

게시일 2026-08-19

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Amogh Raina, Ilias Chalkidis, Daniel Hershcovich, Henrik Palmer Olsen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

법조계의 치열한 세계에서 판사의 결정은 결코 단순한 추측이 아닙니다. 그것은 신중하고 단계적인 추론 과정의 결과입니다. 판사는 사건의 사실관계를 검토하고, 법이 준수되었는지 확인하며, 정부가 그 조치에 대해 정당한 이유를 가졌는지 판단한 뒤, 마지막으로 그 조치가 자유 사회에서 필수적인 것인지 무게를 달아보아야 합니다. 이 과정은 법적 판결에 권위를 부여하며 사람들이 왜 그러한 결정이 내려졌는지 이해할 수 있게 해줍니다. 오늘날 대규모 언어 모델이라고 불리는 강력한 컴퓨터 프로그램들은 방대한 양의 텍스트를 읽고 복잡한 질문에 답할 수 있으며, 이는 많은 이들로 하여금 이 기계들이 이러한 종류의 깊은 법적 추론도 수행할 수 있는지 의문을 갖게 합니다. 문제는 단순히 컴퓨터가 법원 판결의 결과를 예측할 수 있는지 여부가 아니라, 인간 변호사가 타당하고 의미 있다고 인식할 수 있는 방식으로 자신의 생각을 설명할 수 있는지 여부입니다.

한 연구팀은 이 아이디어를 테스트하기 위해 국가가 시민의 권리를 침해했는지 여부를 다루는 실제 법원인 유럽 인권 재판소를 대상으로 연구를 진행했습니다. 그들은 표현의 자유와 관련된 특정 사건 그룹에 집중했는데, 이곳에서는 정부의 언론 제한이 정당한지 여부를 법원이 결정해야 합니다. 연구진은 재판소의 공식 기록에서 최근 사건 30개를 가져와 최상위 수준의 컴퓨터 모델에게 판사 역할을 맡겼습니다. 그들은 모델에게 각 사건의 사실관관계를 제공하고, 최종 판결을 예측하기 전에 단계별로 논리적 근거를 설명하는 법적 평가를 생성하도록 요청했습니다. 모델이 얼마나 잘 수행하는지 확인하기 위해, 연구진은 모델의 설명을 실제 인간 판사들이 해당 사건에서 사용한 추론과 비교했습니다. 또한 연구진은 모델을 다양한 조건 하에서 테스트했습니다. 한 번은 특별한 지침 없이, 한 번은 법률 전문가가 작성한 상세한 가이드를 사용하여, 그리고 한 번은 모델이 스스로 추론 단계를 파악하도록 해당 법의 공식 가이드북을 사용하여 테스트했습니다.

결과는 컴퓨터가 할 수 있는 일과 진정한 법적 추론에 요구되는 능력 사이에 상당한 격차가 있음을 드러냈습니다. 모델은 법적 논증의 기본적인 구조를 따르는 데 놀라울 정도로 능숙했습니다. 거의 모든 사례에서 모델은 각 분석 단계마다 별도의 문단을 갖춘 법적 판결문처럼 보이는 답변을 만들어냈습니다. 모델은 언론에 대한 제한이 발생했음을 올바르게 식별했고, 그 배후에 법적 근거가 있는지 확인했으며, 정부가 유효한 목표를 가지고 있는지 고려했습니다. 그러나 연구진이 사고의 질을 자세히 살펴보았을 때, 모델의 추론은 종종 피상적이라는 것을 발견했습니다. 구조는 갖추어져 있었으나 실체는 부재했습니다. 모델은 확고한 결정 대신 모호한 결론을 자주 내놓았고, 뒤집힌 하급심의 판결에 지나치게 의존했으며, 실제 판사들이 수행하는 미묘하고 실무적인 균형 잡기를 파악하지 못했습니다. 예를 들어, 수감자의 우편물 수령 권리와 관련된 한 사건에서, 실제 법원은 보안 위험을 위해 수천 장의 복사본을 검토하는 것이 교도관들에게 불합리한 부담이 된다는 점을 이해했으나, 모델은 이 미묘한 차이를 전혀 포착하지 못했습니다.

아마도 가장 놀라운 발견은 모델의 추론 품질이 올바른 결과를 맞혔는지 여부와 거의 관련이 없었다는 점입니다. 모델은 약 80%의 확률로 정답을 예측했지만, 이 정확도는 모델이 해당 사건들에서 가장 흔하게 나타나는 결과인 '권리 침해'가 발생했다고 단순히 추측했기 때문에 얻어진 것이었습니다. 모델이 정답을 맞혔을 때도, 정답을 틀렸을 때와 마찬가지로 추론이 피상적인 경우가 많았습니다. 이는 모델이 법적 문제에 대해 진정으로 '생각'하는 것이 아니라, 과거 사례들의 다수를 바탕으로 패턴을 인식하고 가장 가능성 높은 결과를 추측하고 있음을 시사합니다. 연구진이 모델에게 어떻게 추론해야 하는지에 대한 상세한 전문가 가이드를 제공했을 때도, 모델은 더 포괄적인 설명을 만들어냈지만 이것이 예측의 정확도를 높이지는 못했습니다.

연구는 또한 컴퓨터가 생성한 법적 논증의 품질을 측정하는 방법도 조사했습니다. 연구진은 법대생들과 다른 컴퓨터 모델들이 판사 역할을 수행하여 추론을 채점하게 했습니다. 그들은 컴퓨터 판사들이 서로 일관성은 있었지만, 인간 전문가들과는 잘 일치하지 않는다는 것을 발견했습니다. 컴퓨터 판사들은 더 관대하여 인간이 포착해낸 추론의 깊은 결함들을 놓치는 경향이 있었습니다. 이는 첫 번째 컴퓨터 프로그램의 결과물을 다른 컴퓨터 프로그램이 채점하는 것이 품질을 보장하는 신뢰할 만한 방법이 아님을 나타냅니다. 인간 전문가들은 모델의 추론이 구조적으로는 완결되어 있을지라도, 실제 법적 판결이 갖는 깊이와 확실성이 부족하다고 판단했습니다. 모델은 종-종 결론을 내리지 못하고 확답을 피하거나 태도를 흐리는 경향이 있었던 반면, 실제 판사는 단호해야 합니다.

궁극적으로, 이 연구는 이러한 첨단 컴퓨터 모델들이 법적 추론의 외양은 흉내 낼 수 있지만, 법적으로 의미 있는 방식으로 추론하는 능력은 아직 갖추지 못했음을 시사합니다. 모델은 법원 판결문처럼 보이는 텍스트를 생성할 수 있지만, 그 내부의 논리는 종종 피상적이며 법의 복잡한 현실과 단절되어 있습니다. 이 연구는 이러한 모델에 법적 결정을 맡기거나, 자동화된 시스템이 자신의 작업물을 스스로 평가하도록 신뢰하는 것은 위험하다고 경고합니다. 예측의 정확도를 추론의 품질로 오해해서는 안 됩니다. 이 시스템들이 단순히 패턴 매칭을 넘어 법적 원칙에 대한 진정한 이해를 보여줄 수 있을 때까지, 이들은 인간 변사(lawyer)를 보조하는 도구로 남아야 하며, 사법 체계에 필수적인 인간의 판단력을 대체해서는 안 됩니다.

기술 요약: LLM은 법적으로 유의미한 방식으로 추론할 수 있는가?

문제 제기

대규모 언어 모델(LLM)은 수학, 코딩, 논리 분야의 추론 작업에서 강력한 성능을 입증해 왔으나, 복잡하고 법률적인 성격의 작업에 대한 적용은 여전히 미개척 영역으로 남아 있다. 특히, 단순한 패턴 매칭을 넘어 설명 가능성의 요소로서 추론이 작용하는 법률 사례 예측(legal case forecasting)에서의 추론 품질은 엄밀하게 벤치마킹된 바 없다. 저자들은 최근의 최상위 LLM들이 유럽 인권 재판소(ECtHR)의 맥즙, 특히 제10조(표현의 자유) 사례의 맥락 내에서 "법적으로 유의미한 방식"으로 추론할 수 있는지 조사한다. 본 연구는 법률 영역에서 적절한 추론이란 사법 기구의 정당성을 부여하는 "덕목(virtue)"이며, 이는 예측 정확도보다 잠재적으로 더 중요하고 구별되는 개념이라고 상정한다.

방법론

데이터셋 및 과업

본 연구는 (2025년 4월 이후 발표된) 제10조 관련 최근 ECtHR 사례 30개를 포함하는 소규모 데이터셋을 활용한다. 이 데이터셋은 모델의 학습 데이터와의 중복을 최소화하기 위해 HUDOC 데이터베이스에서 선별되었으나, 저자들은 모델의 지식 컷오프(2025년 8월 31일)를 고려할 때 잔여 데이터 오염 위험이 있음을 인정한다.

입력: 선별된 사건의 사실관계와 법원에서 제시된 관련 법적 프레임워크.
과업: 모델은 사실관계를 평가하고, 제10조 위반 가능성에 대해 추론하며, 결과(위반 vs. 미위반)를 예측해야 한다.
정답(Ground Truth): ECtHR의 공식적인 판단(추론) 및 결정.

모델 및 프롬프팅 전략

본 연구는 세 가지 뚜렷한 프롬프팅 설정 하에서 OpenAI GPT-5.4(지식 컷오프: 2025년 8월 31일)를 평가한다.

비선별(Non-Curated) (A): 모델에게 사례를 평가하고 출력을 제목이 붙은 단락 리스트 형식으로 구성하도록 지시하지만, 제10조에 대한 구체적인 추론 전략에 대한 명시적 가이드는 제공하지 않는다.
선별(전문가형)(Curated (Expert)) (B): 프롬프트에 법률 전문가가 큐레이션한 (ECtHR 판례에 기반한) 이상적인 추론 전략에 대한 상세하고 단계적인 설명이 포함된다. 모델은 이 특정 구조를 따르도록 지시받는다.
선별(가이드형)(Curated (Guide)) (C): 프롬프트에 공식 ECtHR 사례법 가이드(Case-Law Guide)가 제공된다. 모델은 먼저 이 가이드로부터 추론 전략을 추론하도록 지시받은 후, 그 추론된 전략을 사례에 적용한다.

평가 프로토콜

본 연구는 **예측(결정)**보다 **추론(평가)**의 품질을 우선시한다.

인간 평가: 전문가의 감독을 받는 3명의 상급 법대생이 다음 기준에 따라 모델의 출력을 평가했다:
- 단계 발생 여부(Step Occurrence): 4가지 교리적 단계(간섭, 적법성, 정당한 목적, 필요성)의 존재 여부를 이진 체크(binary check)함.
- 단계 포괄성(Step Comprehensiveness): 법원의 판단과 비교하여 각 단계의 깊이를 평가하는 리커트 척도(1~5점).
- 전반적 간결성(Overall Conciseness): 불필요한 정보의 부재를 평가하는 리커트 척도(1~5점).
LLM-as-a-Judge: 동일한 기준을 사용하여 동일한 출력을 평가하기 위해 세 가지 최상위 모델(GPT-5.5, DeepSeek V4 Pro, Claude Opus 4.7)이 사용되었다.
지표: 추론 품질 외에도, 연구는 예측 정확도, 사실적 참조 중첩(F1-score), 그리고 내부 토큰 사용량(청구된 추론 토큰 대 출력 토큰)을 측정하였다.

주요 기여

데이터셋 공개: 법률적 판단 예측 및 추론 능력을 평가하기 위해 설계된, 인간 및 LLM 평가 결과가 포함된 30개의 최근 ECtHR 제10조 사례 데이터셋.
프롬프팅 분석: 서로 다른 프롬프팅 전략(제로샷, 전문가 큐레이션, 가이드 추론)이 최첨단 LLM의 추론 성능에 어떻게 영향을 미치는지에 대한 탐구.
정확도와 추론의 분리: 예측 정확도가 법률 작업에서의 추론 품질과 상관관계가 없음을 입증.
평가 타당성: "LLM-as-a-Judge"의 신뢰성을 비판적으로 평가하여, LLM 평가자가 내부적으로는 일관적이지만 인간 법률 전문가와는 약하게 정렬됨을 발견함.

결과

추론 품질 vs. 예측 정확도

정확도: 모든 프롬프팅 설정에서 77%에서 82% 사이의 예측 정확도를 달성했다. 그러나 이 성능은 데이터셋의 클래스 불균형(사례의 77%가 위반을 포함함)에 의해 크게 좌우된다. 단순한 "항상 위반(always-violation)" 베이스라인이 77%의 정확도를 기록하며 설정 B 및 C와 일치했다.
추론 품질: 정확도와 추론 품질 사이에 상당한 괴리가 있었다. 선별(전문가형) 설정(B)은 가장 포괄적인 추론(가장 높은 인간 점수)을 생성했으나, 비선별 설정보다 더 높은 예측 정확도를 이끌어내지는 못했다.
상관관계: 본 연구는 추론의 포괄성과 예측의 정확성 사이에 거의 상관관계가 없음( $r = 0.08$ )을 발견했다. 올바른 예측은 종종 얕은 추론과 함께 이루어졌으며, 잘못된 예측은 때때로 포괄적인 추론을 동반했다.

단계별 분석

단계 발생 여부: 모델은 명시적인 프롬프팅 없이도(설정 A) 거의 모든 사례(94~100%)에서 요구되는 교리적 단계를 수행했으며, 이는 모델이 표준적인 제10조 구조를 내재화하고 있음을 시사한다.
단계 포괄성: 선별(전문가형) 설정이 가장 높은 포괄성 점수를 얻었으며, 선별(가이드형), 비선별 순이었다. 그러나 가장 우수한 설정조차 평균 약 4.4/5점을 기록하여, 법원의 판단과 비교했을 때 추론이 "이상적인 수준과는 거리가 멀다"는 것을 보여주었다.
취약점: 모델은 **2단계(적법성)**와 **4단계(필요성/비례성)**에서 자주 어려움을 겪었다. 질적 분석 결과 반복되는 실패 양상이 드러났다: 법원이 단호한 부분에서 모호한 결론을 내리거나, 뒤집힌 국내 법원의 판결에 과도하게 의존하거나, 실질적인 균형 잡기(예: 교도소 보안 vs. 개인의 권리)를 놓치는 얕은 비례성 분석, 그리고 위반을 예측하려는 편향 등이 나타났다.

평가 신뢰성 및 타당성

인간 일치도: 세 명의 인간 주석가는 높은 원시 일치도(단계 발생 여부에 대해 97% 일치)를 보였으나, 낮은 기회 교정 계수( $\kappa \approx 0.14$ )를 보였다. 이는 점수 범위의 제한(대부분의 평가가 높음)에 기인한다.
LLM vs. 인간: LLM 심판들은 서로 매우 일관적이었으나( $\alpha = 0.41$ ), 인간의 합의와는 약한 정렬을 보였다( $\rho = 0.16–0.33$ ). 저자들은 LLM 심판이 신뢰할 수는 있지만, 인간의 법적 판단을 반영하기보다는 공유된 모델의 편향을 강화할 수 있으므로 법률 영역에서 인간 평가의 유효한 대체제가 될 수 없다고 결론지었다.

내부 추론

모델은 출력에는 보이지 않는 상당한 양의 내부 추론 토큰(1.7k–3.5k 청구된 토큰)을 사용했다. 생성된 "추론 요약(reasoning summary)"은 종종 비어 있었는데, 이는 가시적인 출력이 내부 계산의 압축된, 잠재적으로 불충분한(unfaithful) 요약본임을 나타낸다.

의의 및 주장

본 논문은 최상위 LLM이 법적 추론의 교리적 프레임워크를 구조적으로 재현할 수는 있지만, 그 실질적인 추론은 얕다고 결론짓는다. 본 연구는 커뮤니티에 다음과 같이 도전한다:

법률 추론 작업에 있어 자동화된 LLM 기반 평가에만 의존하는 것을 피하라. LLM 심판은 인간 전문가와 잘 정렬되지 않기 때문이다.
과업 정확도를 추론 품질의 대리 지표로 사용하는 것을 중단하라. 정확한 예측은 진정한 법적 이해 없이도 클래스 불균형이나 패턴 매칭을 통해 달성될 수 있기 때문이다.
고위험 법률 환경에 LLM을 배치할 때 주의를 기울여라. 모델이 제공하는 "유창한" 평가는 실제 추론 과정이나 법적 판단에 필요한 미묘한 차이를 반영하지 못할 수 있다.

저자들은 이러한 결과가 단일 모델(GPT-5.4)과 특정 법률 영역(ECtHR 제10조)에 국한된다는 점을 강조하지만, 정확도와 추론 품질의 분리는 복잡한 법률 추론 능력에 대한 현재 LLM 역량의 광범위한 한계를 시사한다.