Testing Frontier LLMs on Indian Statutory Interpretation: The Indian Construction Canon Benchmarking (ICCB) -Pilot Benchmark

법의 세계에서 법령을 읽는 것은 단순히 사전적 정의를 읽는 것만큼 간단하지 않습니다. 판사가 모호하거나 불분명한 법에 직면했을 때, 그들은 단순히 답을 추측하는 것이 아니라 '해석의 원칙(canons of construction)'이라 불리는 특정한 사고 도구를 따릅니다. 이것은 텍스트를 어떻게 이해해야 하는지를 안내하는 확립된 경험칙입니다. 예를 들어, 어떤 규칙은 만약 법이 누군가를 처벌하기 위한 목적이라면, 글자 그대로 매우 엄격하게 해석되어야 한다고 말할 수 있습니다. 또 다른 규칙은 만약 법이 가난한 사람들을 돕기 위해 설계되었다면, 가능한 한 많은 사람을 포함하도록 폭넓게 해석되어야 한다고 말할 수 있습니다. 이러한 도구들은 판사가 단순히 과거의 판례를 회상하는 것과, 새로운 문제에 대해 실제로 추론하는 것 사이의 차이를 만듭니다. 인공지능 시스템이 법정과 법률 사무소에 진입하기 시작함에 따라, 중요한 질문이 제기됩니다. 이 기계들이 이러한 도구들을 사용하는 방법을 진정으로 이해하고 있는 것일까요, 아니면 단지 이전에 보았던 패턴을 바탕으로 정답을 맞히는 데 매우 능숙한 것일까요?

인도의 마니팔 고등 교육 아카데미(Manipal Academy of Higher Education) 연구진은 최신 세대의 인공지능 모델을 사용하여 이 질문을 테스트하기 위해 나섰습니다. 그들은 이 기계들이 인도 법률을 어떻게 해석하는지에 전적으로 초점을 맞춘 특화된 테스트, 즉 벤치마크를 만들었습니다. 연구진은 컴퓨터에게 단순히 사건의 결과를 예측하라고 요구하는 대신, 그들의 사고 과정을 설명하도록 요구했습니다. 이 테스트는 실제 인도 법원 판결에서 추출한 40가지의 서로 다른 법적 시나리오를 모델에게 제시했습니다. 각 시나리오에서 모델은 어떤 구체적인 해석 규칙을 사용해야 하는지 식별하고, 그 규칙을 정확하게 설명하며, 결론에 도절하기 위해 그 규칙을 사실관계에 적용해야 했습니다. 연구진은 모델을 다섯 가지 별개의 측면, 즉 올바른 규칙을 선택했는지, 인도 법 전통에 따라 그 규칙을 정확하게 기술했는지, 사실관계에 올바르게 적용했는지, 올바른 최종 결론에 도달했는지, 그리고 전반적인 추론이 얼마나 명확했는지를 평가했습니다.

결과는 기계가 할 수 있는 일과 그 방식 사이에 놀라운 격차가 있음을 드러냈습니다. 테스트된 가장 강력한 인공지능 모델들은 놀라울 정도로 정답을 맞히는 데 뛰어났습니다. 많은 경우, 그들은 인간 판사가 도달했을 법한 것과 동일한 결론에 도달했습니다. 그러나 연구진이 그들이 그 결론에 도달한 과정을 살펴보았을 때, 양상은 바뀌었습니다. 모델들은 자신이 사용하고 있는 구체적인 법적 규칙을 정확하게 식별하는 데 빈번하게 실패했습니다. 그들은 올바른 도구를 사용하는 법을 알지 못한 채 종종 올바른 결과에 도달했는데, 이는 논리적인 경로를 따르기보다 익숙한 패턴에 상황을 맞추고 있음을 시사합니다. 이는 마치 학생이 복잡한 수학 문제를 정답은 맞히면서도, 어떤 공식을 사용했는지 혹은 왜 그것이 작동하는지 설명하지 못하는 것과 같습니다. 연구진은 모델에게 사용할 규칙을 명시적으로 알려주었을 때, 모델이 그 규칙을 명명하는 능력은 훨씬 좋아졌지만, 이를 설명하거나 적용하는 능력은 크게 개선되지 않았음을 발견했습니다. 이는 모델들이 이러한 법적 규칙에 대한 지식은 갖추고 있으나, 직접적인 프롬프트 없이는 스스로 그 지식에 접근하는 데 어려움을 겪고 있음을 시사합니다.

연구진은 또한 질문이 어떻게 던져지느냐에 따라 모델들이 다르게 행동한다는 것을 관찰했습니다. 스스로 문제를 해결하도록 내버려 두었을 때, 모델들은 특히 테스트된 오픈 소스 모델의 경우 주저하거나 답변을 거부하는 경우가 많았습니다. 그러나 연구진이 어떤 종류의 규칙을 사용할지에 대한 힌트를 주었을 때, 모델들은 더 적극적으로 참여했습니다. 이러한 참여도의 향상에도 불구하고 핵심적인 문제는 여전히 남아 있었습니다. 모델들은 올바른 법적 논거를 구축하는 것보다 정답을 추측하는 데 여전히 더 능숙했습니다. 특히 한 모델은 법적 원칙을 올바르게 식별하는 횟수보다 올바른 결과를 도출하는 횟수가 지속적으로 더 많았음에도 불구하고, 최종 결론에서는 상당한 오류를 범했습니다. 이러한 정답과 올바른 추론 과정 사이의 괴리는 중요한 발견입니다. 이는 만약 이러한 시스템들이 단지 결과를 예측하는 능력만을 근거로 실제 법적 환경에 배치된다면, 추론 자체가 결과만큼이나 중요한 체계에서 위험할 수 있음을 의미합니다. 왜냐하면 그들은 잘못된 이유로 옳은 답을 낼 수도 있기 때문입니다.

이 연구는 인공지능 시스템이 강력한 도구이기는 하지만, 법적 해석에 필요한 특정한 종류의 추론을 아직 숙달하지 못했다고 결론짓습니다. 이들은 인간 판사가 사용하는 법적 규칙의 단계별 적용보다는 패턴 인식에 크게 의존하는 것으로 보입니다. 연구진은 이것이 기술이 쓸모없다는 의미는 아니지만, 단지 정답을 맞힌다고 해서 이 시스템들이 변호사처럼 추론할 것이라고 신뢰해서는 안 된다는 점을 강조합니다. 이 연구는 이러한 특정 유형의 평가가 가능하다는 것과 필요하다는 것을 증명하기 위해 설계된 소규모 테스트인 파일럿 연구 역할을 합니다. 연구팀은 향-후 더 많은 모델과 더 다양한 법률을 테스트하여 이러한 패턴이 전반적으로 유지되는지 확인하기 위해 이 연구를 확장할 계획입니다. 현재로서는, 이 연구 결과가 명확한 경고를 보내고 있습니다. 복잡한 법의 세계에서 정답을 얻는 것만으로는 충분하지 않으며, 기계 또한 자신의 작업 과정을 보여줄 수 있어야 한다는 것입니다.