JUDICATA: An Agentic Neuro-Symbolic Architecture for Legal Reasoning with Adversarial Defense and Procedurally Contestable Argumentation

컴퓨터가 인간처럼 읽고 쓸 수 있지만, 아주 까다로운 습관을 가진 세상을 상상해 보십시오. 바로 때때로 아주 자신만만하게 가짜를 지어내는 습관입니다. 이것이 바로 우리가 사용하는 많은 챗봇 뒤에 있는 초지능형 AI 브레인, 거대 언어 모델(LLM)의 세계입니다. 이 모델들은 이야기를 쓰거나 일반적인 질문에 답하는 데는 놀라운 능력을 보여주지만, 잘못되었을 때 위험이 따르는 곳, 예를 들어 법정 같은 곳에서는 어려움을 겪습니다. 법률의 세계에서는 단순히 추측해서는 안 됩니다. 결론에 도달하기 위해서는 구체적인 사실을 특정 규칙에 연결해야 합니다. 만약 AI가 가짜 법률이나 가짜 판례를 만들어낸다면, 누군가의 인생을 망칠 수 있습니다. 이 논문은 바로 그 문제를 다룹니다. 어떻게 하면 환각(hallucination, 가짜를 만들어내는 현상)을 일으키지 않고 실제 법률의 엄격하고 논리적인 규칙을 따르면서도, 해커들이 속임수를 쓰는 것을 막아낼 만큼 강력한 AI 변호사를 구축할 것인가 하는 문제입니다.

이 연구를 진행한 연구진은 JUDICATA라고 불리며, 이들은 AI 자체를 더 똑똑하게 만드는 대신 AI 주변에 '안전망'을 구축하기로 했습니다. 일반적인 AI를 재능은 있지만 충동적인 학생이라고 생각해보십시오. JUDICATA는 그 학생을 엄격한 법정에 배치하고 한 팀의 보호자를 붙여준 것과 같습니다. 첫째, **검색 팀(Retrieval Team)**은 초고속 사서처럼 행동하며, AI가 기억에 의존해 추측하게 두는 대신 답변에 필요한 정확한 법률과 과거 판례를 찾아냅니다. 둘째, **보안 팀(Security Team)**은 클럽의 문지기처럼 행동하며, 누군가 속임수나 거짓말을 몰래 들여오려 하지 않는지 모든 질문을 검사합니다. 마지막으로, **논리 팀(Logic Team)**은 AI가 명확한 주장, 증거, 반박을 포함한 법적 논증과 같은 특정 형식으로 답변을 작성하도록 강제하여 인간이 그 결과물을 검증할 수 있게 합니다.

이 논문은 이 팀들을 결합했을 때 AI가 가짜 법률을 만들어내는 현상이 멈춘다는 것을 보여줍니다. 테스트 결과, 이 시스템은 악의적인 기만 시도를 약 94.4% 차단해냈으며, AI가 진실인 것처럼 제시하려 했던 가짜 사실의 수를 크게 줄였습니다. 연구진은 이 전체 시스템에서 가장 중요한 부분이 **툴민 모델(Toulmin Model)**을 사용하는 '논리 팀'이라는 것을 발견했습니다. 이 부분을 제거했을 때 시스템의 성능은 급락했고 AI는 다시 사실을 지어내기 시작했습니다. 이는 비결이 단순히 더 크고 똑똑한 뇌를 갖는 것이 아니라, AI를 정직하게 유지하는 엄격하고 단계적인 프로세스를 갖추는 데 있다는 것을 입증합니다.

JUDICATA 이야기: 안전망을 갖춘 AI 변호사

당신이 큰 재판을 준비하는 변호사라고 상상해 보십시오. 당신의 케이스를 뒷받/침할 완벽한 법률을 찾아야 하지만, 실수를 해서는 안 됩니다. 존재하지 않는 법률을 인용한다면 당신은 패소하게 됩니다. 이제 당신을 도와주는 로봇 조수가 있다고 상상해 보십시오. 문제는 이 로봇이 약간 몽상가라는 점입니다. 이 로봇은 너무 자신감 있게 말하는 데 능숙해서, 빈틈을 메우기 위해 가짜 법률과 가짜 판례를 스스로 만들어내곤 합니다. 이것을 "환각(hallucination)"이라고 부르며, 법률의 세계에서는 재앙입니다.

이 논문의 저자들인 JUDICATA는 단순한 질문을 던졌습니다. 어떻게 하면 로봇의 몽상을 멈추고 규칙을 따르게 만들 것인가? 그들은 로봇의 뇌를 완벽하게 재학습시키려 하지 않았습니다. 대신, 그들은 **뉴로-심볼릭 아키텍처(neuro-symbolic architecture)**를 구축했습니다. 이는 로봇의 '직관'(신경망)과 엄격한 '규칙집'(기호적 방식)을 결합했다는 뜻입니다. 그들은 판사에게 도달하기 전에 오류를 잡아내도록 설계된 세 겹의 요새와 같은 시스템을 만들었습니다.

시스템의 세 가지 수호자

JUDICATA 시스템은 잘 짜인 기계처럼 함께 작동하는 세 가지 주요 부분으로 구성되어 있습니다.

1. 슈퍼 사서 (HyPA-RAG)
먼저, 시스템은 적절한 정보를 찾아야 합니다. 표준적인 AI 시스템은 종종 단순히 유사해 보이는 단어를 검색하는데, 이는 실수를 유발할 수 있습니다. JUDICATA는 "삼중 모드(Tri-Modal)" 검색을 사용합니다. 즉, 세 가지 방식으로 동시에 답을 찾습니다:

• 단어 매칭: 정확한 법률 용어(예: "인신보호령")를 찾아내어 올바른 어휘를 사용하는지 확인합니다.
• 의미 매칭: 단어가 다르더라도 질문 이면에 담긴 '아이디어'를 이해합니다.
• 구조 매칭: 법률이 계층 구조 내에서 어떻게 연결되어 있는지(예: 특정 조항이 항/절 안에 어떻게 포함되는지)를 살핍니다.

시스템은 이 세 가지 검색 결과를 혼합합니다. 질문이 단순하면 단어 매칭을 더 신뢰하고, 질문이 복잡하면 구조와 의미에 더 의존합니다. 이를 통해 AI가 가짜 법률이 아닌, 항상 실제 법률을 손에 쥐고 있도록 보장합니다.

2. 문지기 (적대적 방어, Adversarial Defense)
AI가 법률을 읽기도 전에 보안 검사를 통과해야 합니다. 해커와 속임수를 쓰는 사람들은 이상한 질문을 던지거나 법률적인 텍스트 안에 나쁜 명령을 숨겨 AI를 "탈옥(jailbreak)"시키려 합니다. JUDICATA는 엄격한 문지기 역할을 하는 이중 통과 방어(Dual-Pass Defense) 시스템을 갖추고 있습니다.

• 1단계 (구문 검사): 코드 주입이나 알려진 속임수 문구와 같은 의심스러운 패턴을 스캔합니다.
• 2단계 (의미 검사): 단어는 정상적으로 보일지라도 질문이 '속임수처럼 느껴지는지'를 판단하는 스마트한 뇌를 사용합니다.

테스트에서 이 시스템은 정당한 질문을 차단하지 않으면서도 **94.4%**의 공격(800건 중 755건)을 막아냈습니다. 이는 누가 들어와야 하고 누가 거절당해야 하는지 정확히 아는 문지기와 같습니다.

3. 법원 서기 (LSIM 및 툴민 모델)
AI가 올바른 법률을 확보하고 보안 검사를 통과했다면, 이제 답변을 작성해야 합니다. 여기서 마법이 일어납니다. JUDICATA는 AI가 자유로운 형식의 에세이를 쓰는 대신, **툴민 모델(Toulmin Model)**이라 불리는 특정 구조를 사용하도록 강제합니다. 이 모델은 논증을 여섯 가지 부분으로 나눕니다:

• 주장 (Claim): 당신이 말하고자 하는 바.
• 데이터 (Data): 당신이 가진 사실들.
• 논거 (Warrant): 왜 그 사실들이 주장을 뒷받침하는지에 대한 이유.
• 뒷받침 (Backing): 논거를 보강하는 추가적인 근거.
• 반박 (Rebuttal): 발생할 수 있는 문제점이나 상대방이 제기할 수 있는 의견.
• 한정어 (Qualifier): 확신의 정도 (예: "아마도" 또는 "확실히").

AI가 이 상자들을 채우도록 강제함으로써, 시스템은 AI가 멋대로 꾸며내는 것을 방지합니다. 만약 AI가 사실을 지어내려 한다면, 그것은 "데이터" 상자에 들어맞지 않을 것이고 시스템이 이를 잡아낼 것입니다. 이는 AI의 추론을 절차적으로 다툴 수 있게(procedurally contestable) 만듭니다. 즉, 인간 변호사가 답변을 보고 "좋아, 여기 네 주장이 있고, 여기 증거가 있고, 여기 반박이 있구나. 내가 이걸 확인할 수 있겠어"라고 말할 수 있게 합니다.

실험 결과

연구진은 세 가지 다른 AI 브레인을 사용하여 이 시스템을 테스트했습니다: 로컬 컴퓨터에서 실행되는 작은 모델(Mistral 7B), 클라우드의 거대한 모델(Kimi K2), 그리고 상용 모델(Gemini 2.5 Flash)입니다. 그들은 어떤 브레인을 사용하더라도 시스템이 작동하는지 확인하고자 했습니다.

결과는 명확했습니다: 브레인의 크기보다 구조가 더 중요했습니다.

• 가짜 사실 감소: JUDICATA 시스템이 없으면 AI는 사실을 지어내는 경향이 있었습니다. 시스템을 적용하자 환각의 위험이 크게 줄었습니다. 로컬 Mistral 모델의 경우, 환각 위험이 0.898(0이 완벽, 1이 완전한 혼돈인 척도)로 떨어졌고, 클라우드 Kimi 모델의 경우 0.467로 떨어졌습니다.
• "안전 세금 (Safety Tax)": 시스템은 AI를 다소 신중하게 만들었습니다. 일부 테스트에서 AI는 100% 확신할 수 없는 법률은 인용하기를 거부하여 인용 횟수가 줄어들었습니다. 저자들은 이를 "안전 세금"이라고 불렀습니다. 즉, 많은 법률을 틀리게 인용하는 것보다 적더라도 정확하게 인용하는 것이 낫다는 것입니다.
• 핵심 요소: 가장 중요한 발견은 시스템의 각 부분을 하나씩 꺼보는 "절제 연구(ablation study)"에서 나왔습니다. 툴민 모델(구조화된 논증)을 끄자 시스템의 성능이 무너졌습니다. '종합 점수'(답변의 질을 측정하는 지표)는 약 27% 하락했고, 환각 위험은 0.94 이상으로 치솟았습니다. 이는 엄격한 논증 구조가 AI를 정직하게 유지하는 데 가장 중요한 부분임을 입증했습니다.

이것이 왜 중요한가

이 논문은 우리가 AI가 스스로 완벽해질 때까지 기다릴 필요가 없다고 주장합니다. 대신, 우리는 AI가 정직하도록 강제하는 시스템을 구축할 수 있습니다. 스마트한 검색 엔진, 강력한 보안 요원, 그리고 엄격한 논증 형식을 결합함으로써, JUDICATA는 법정에서 신뢰할 수 있는 AI를 만듭니다.

또한 이 시스템은 프라이버시를 존중합니다. 데이터를 클라우드로 보내지 않고 로컬 컴퓨터에서 완전히 실행될 수 있기 때문에, 브라질의 LGPD나 유럽의 AI 법과 같은 엄격한 개인정보 보호법을 준수합니다. 이는 변호사가 고객의 비밀이 거대 기술 기업으로 전송될 걱정 없이 민감한 사건에 AI를 활용할 수 있음을 의미합니다.

결국, JUDICATA는 법률 AI의 미래가 더 크고 똑똑한 로봇을 갖는 것에 있지 않음을 보여줍니다. 그것은 로봇 주변에 더 나은 팀을 구축하여, 로봇이 자신의 작업을 검토하고, 규칙을 따르며, 절대로 가짜를 만들어내지 않도록 만드는 것에 있습니다. 저자들이 제안하듯, 이 접근 방식은 혼란스럽고 몽상에 빠진 AI를 신뢰할 수 있고, 논쟁 가능하며, 안전한 법률 보조원으로 변화시킵니다.