PROSLEX: A Novel Dataset for Expert-Annotated Legal Statute Prediction for Indian Judiciary

당신이 미스터리를 풀기 위해 탐정이 되었다고 상상해 보십시오. 하지만 당신은 지문 대신, 이야기에 적용되는 구체적인 법률을 찾고 있습니다. 법의 세계, 특히 인도와 같은 곳에서는 모든 범죄나 분쟁이 '성문법'이라고 불리는 특정한 일련의 기록된 규칙들과 연결되어 있습니다. 이 성문법들을 거대하고 복적인 게임의 규칙책이라고 생각하십시오. 누군가 규칙을 어긴다면, 당신은 그 규칙책에서 그들의 실수를 설명하는 정확한 페이지를 찾아야 합니다. 이것을 '성문법 예측(Statute Prediction)'이라고 부릅니다. 수년 동안 컴퓨터는 이러한 이야기들을 읽고 적절한 규칙책의 페이지를 추측하는 능력이 향상되어 왔으며, 이는 마치 매우 빠른 사서와 같습니다. 하지만 함정이 있습니다. 단순히 올바른 페이지를 맞히는 것만으로는 충분하지 않습니다. 실제 법정에서 판사나 변호사는 왜 그 법이 적용되는지 알아야 합니다. 그들은 결과가 아닌, 그 '이유', 즉 '왜냐하면'을 필요로 합니다. 이것은 마치 당신에게 왼쪽으로 돌라고 알려주지만, 앞에 거대한 구멍이 있다는 설명은 거부하는 GPS와 같습니다. 이 논문은 바로 이 빠진 조각에 대해 파고들며 다음과 같이 질문합니다. 우리는 컴퓨터가 단순히 법을 맞히는 것을 넘어, 인간이 이해할 수 있는 방식으로 자신의 논리를 설명하도록 가르칠 수 있을 것인가?

인도 대학 팀이 이끄는 연구진은 컴퓨터가 추측하는 데는 능숙해졌지만, 자신이 왜 그렇게 추측했는지 설명하는 데는 형편없다는 사실을 깨달았습니다. 이를 해결하기 위해 그들은 PROSLEX라고 불리는 것을 구축했습니다. PROSLEX를 컴퓨터 뇌를 위한 거대하고 매우 체계적인 훈련 캠프라고 생각하십시오. 그들은 1,623개의 실제 인도 대법원 법률 사례를 가져왔고, 실제 법률 전문가들(인간 코치)이 이 사례들을 검토하게 했습니다. 전문가들은 단순히 사례에 라벨을 붙이는 데 그치지 않고, 어떤 법이 적용되는지를 증명하는 이야기 속의 정확한 문장들을 강조 표시하고 그 뒤에 숨겨진 논거를 작성했습니다. 총 7,450개의 상세한 설명이 만들어졌습니다. 이것은 마치 마스터 셰프가 완성된 케이크를 보여주는 것에 그치지 않고, 모든 레시피의 단계마다 주석을 달고 왜 정확히 섭씨 350도에서 구워야 하는지를 설명하는 것과 같습니다.

이 새로운 '훈련 캠프'가 준비되자, 팀은 여러 유형의 컴퓨터 뇌를 테스트에 투입했습니다. 그들은 컴퓨터에게 법률 이야기를 읽게 한 뒤 두 가지 일을 시켰습니다: 올바른 법을 맞히고, 그 추측에 대한 설명을 쓰는 것입니다. 그들은 몇 가지 예시를 먼저 보여주는 방식(few-shot), 단계별로 생각하도록 요청하는 방식(Chain-of-Thought), 또는 나무가 가지를 치듯 여러 추론 경로를 탐색하도록 요청하는 방식(Tree-of-Thoughts)과 같은 다양한 교수법을 시도했습니다.

연구 결과는 다음과 같았습니다. 첫째, 법률 텍스트에 특화되어 훈련된 컴퓨터들(InLegalBERT와 같은 모델)은 단순히 올바른 법을 맞히는 데 가장 뛰어났으며, 약 82%의 확률로 정답을 맞혔습니다. 그러나 '설명'을 쓰는 문제에 있어서는 거대한 범용 AI 모델들(GPT-4와 같은 모델)이 빛을 발하기 시작했습니다. 이 모델들에게 단계별로 생각하도록 요청했을 때, 법을 예측하는 능력과 실제 변호사처럼 들리는 이유를 작성하는 능력이 훨씬 향상되었습니다. 실제로 GPT-4는 설명에 대한 전문가 평가에서 가장 높은 점수를 받으며 최고의 성능을 보였습니다.

하지만 논문은 또한 까다로운 지점들도 발견했습니다. 컴퓨터가 'Tree-of-Thoughts' 방식(여러 아이디어로 가지를 치며 탐색하는 방식)을 사용하려고 할 때, 오히려 법을 맞히는 능력이 떨어졌습니다. 한 번에 너무 많은 경로를 탐색하려고 하는 것이 컴퓨터를 혼란스럽게 만드는 것으로 보입니다. 또한 연구진은 교묘한 문제를 발견했습니다. 때때로 컴퓨터가 올바른 법을 맞히면서도 이유는 완전히 틀리게 제시한다는 점입니다. 이는 마치 학생이 수학 시험에서 정답은 맞혔지만 풀이 과정은 틀리게 적어낸 것과 같습니다. 논문은 컴퓨터가 '성문법'은 맞혔더라도 그 논리는 틀릴 수 있음을 보여주었으며, 이는 우리가 컴퓨터의 답변을 그 논리(logic)를 확인하지 않고는 그냥 믿어서는 안 된다는 점을 강조합니다.

궁극적으로 저자들은 우리가 가까워지고는 있지만, 아직 도달하지는 못했다고 제안합니다. 최선의 결과는 컴퓨터의 속도와 인간과 같은 추론 단계를 결합했을 때 나타났지만, 시스템에는 여전히 인간 전문가의 검토가 필요합니다. 이 논문은 법률 AI의 미스터리를 영원히 해결했다고 주장하는 것이 아닙니다. 대신, 다른 연구자들이 더 나은, 더 설명 가능한 법률 도구를 구축하는 데 사용할 수 있는 고품질의 새로운 지도(PROSLEX 데이터셋)를 제공합니다. 이는 컴퓨터에게 적절한 종류의 훈련 데이터(인간의 설명이 포함된 데이터)를 제공한다면, 컴퓨터가 단순히 게임의 규칙뿐만 아니라 그 이면에 담긴 정신까지도 이해하기 시작할 수 있음을 입증하며 한 단계 더 나아간 중요한 진전입니다.