A Neuro-Symbolic Framework for Accountability in Public-Sector AI

본 논문은 CalFresh 의 자동화된 자격 결정이 법적 규칙과 일치하도록 보장하기 위해 법적 온톨로지, 규칙 추출, 그리고 솔버 기반 추론을 통합하는 신경-상징적 프레임워크를 제안함으로써 추적 가능하고 이의 제기 가능한 절차적 책임을 가능하게 한다.

핵심

식량 지원을 누가 받을지 결정하는 정부 기관을 상상해 보세요. 신청자에게 "아니오"라고 말할 때, 그들은 그 이유를 설명하는 편지를 발송합니다. 보통 이러한 편지들은 혼란스러운 법적 전문 용어로 작성됩니다. 신청자는 편지를 읽고 "그건 그럴듯해 보이네"라고 생각하지만, 실제로 정부가 규칙을 올바르게 따르고 있는지 확인할 수 없습니다. 법적 검증 도구가 없기 때문에 편지를 믿을 수밖에 없는 상황에 처해 있습니다.

이 논문은 이러한 편지들을 검증할 새로운 "디지털 심판자"를 제안합니다. 작동 원리는 다음과 같이 단순한 개념으로 나누어 설명됩니다:

문제: 관료주의의 "블랙박스"

정부의 의사결정 과정을 블랙박스로 생각해 보세요. 당신의 정보를 입력하면 결정이 출력됩니다. 때로는 이 상자가 컴퓨터 프로그램이고, 때로는 복잡한 규칙서를 따르는 인간일 수 있습니다. 문제는 당신에게 발송된 "설명 편지"가 표면상으로는 그럴듯해 보일지라도, 속으로는 규칙을 위반하고 있을 수 있다는 점입니다.

현재 우리는 "해석 가능성"에 의존합니다. 즉, 컴퓨터의 사고 과정을 가시화하려는 시도입니다. 하지만 저자들은 법적 맥락에서는 단순히 사고 과정을 보는 것만으로는 부족하다고 주장합니다. 당신은 감사 가능성이 필요합니다. 영수증이 구매한 품목과 일치하는지 확인하듯, 설명이 실제로 법과 일치하는지 알아야 합니다.

해결책: "번역기"와 "규칙 검사기"

저자들은 뉴로-심볼릭 프레임워크라는 시스템을 구축했습니다. 이는 함께 일하는 두 명의 팀으로 생각할 수 있습니다:

1. 번역기 (신경망 부분):
   엉망진창이고 복잡한 정부 법률 (영어로 작성됨) 과 신청자에게 발송된 설명 편지를 읽는 초지능 로봇을 상상해 보세요. 이 로봇의 역할은 인간의 언어를 컴퓨터가 완벽하게 이해할 수 있는 엄격한 수학 언어로 번역하는 것입니다. 마치 시를 정확한 수학 방정식 집합으로 번역하는 것과 같습니다.

   • 논문에서: 그들은 "2,000 달러 미만이어야 합니다"와 같은 법률을 If Income > 2000, Then Not Eligible과 같은 형식적 규칙으로 변환하기 위해 대규모 언어 모델 (LLM) 을 사용했습니다.

2. 규칙 검사기 (심볼릭 부분):
   법률과 설명 편지가 수학 방정식으로 변환되면, 엄격한 논리 기계 (SMT 솔버라고 함) 가 개입합니다. 이 기계는 추측하지 않고 계산합니다. "설명 편지가 결정에 대해 수학적으로 증명하는가?"라고 묻습니다.

   • 편지가 "너무 많이 벌어서 거절되었습니다"라고 말하고, 수학이 실제로 너무 많이 벌고 있음을 보여주면, 기계는 SAT(만족 가능/유효)라고 말합니다. 설명이 타당합니다.
   • 편지가 "너무 많이 벌어서 거절되었습니다"라고 말하지만, 수학이 실제로는 너무 많이 벌지 않았음을 보여주면, 기계는 UNSAT(불만족/무효)라고 말합니다. 설명은 인간에게는 그럴듯해 보일지라도 거짓이거나 실수입니다.

현실 세계 테스트: CalFresh

이 팀은 캘리포니아주의 식량 지원 프로그램인 CalFresh에서 이 시스템을 테스트했습니다. 그들은 혜택이 거절되거나 삭감된 50 개의 실제 사례를 취했습니다.

• 설정: 그들은 실제 법률, 신청자의 사실 (소득, 가족 수), 그리고 정부가 보낸 공식 편지를 시스템에 입력했습니다.
• 결과: 시스템은 "법적 불일치"를 성공적으로 발견했습니다. 한 테스트에서 그들은 "거절" 결정을 "승인"으로 변경했지만 동일한 설명 (소득이 너무 많다고 명시됨) 을 유지하여 시스템을 속였습니다. 시스템은 즉시 UNSAT라고 외치며 설명이 새로운 결정과 모순됨을 지적했습니다.
• 결정적 증거: 시스템이 실수를 발견했을 때, 단순히 "오류"라고 말하지 않았습니다. 대신 위반된 법률의 정확한 페이지와 단락을 지적했습니다. 마치 심판이 휘슬을 불 뿐만 아니라 선수가 위반한 규칙서 페이지를 가리키는 것과 같습니다.

왜 이것이 중요한가

저자들은 AI 가 어떻게 생각하는지 단순히 "설명"하려는 시도를 멈추고, 그것이 생성하는 법적 근거를 감사하기 시작해야 한다고 주장합니다.

• 현재 방식: "컴퓨터가 거절했다고 말한 이유는 이것입니다. 학습한 패턴에 기반한 것입니다." (이것은 법정에서 싸우기 어렵습니다).
• 새로운 방식: "이것이 편지입니다. 우리 시스템이 이를 법률과 대조하여 제 63-409.111 조를 위반했다고 발견했습니다." (이것은 법정에서 싸우기 쉽습니다).

결론

이 논문은 정부를 대체하거나 최종 결정을 내린다고 주장하지 않습니다. 대신 디지털 안전망을 구축합니다. 정부가 당신에게 "아니오"라고 말하는 편지를 보낼 때, 그 편지가 단순히 혼란스러운 변명이 아니라 실제로 유효한 법적 이유인지 보장합니다. 이는 당신이 믿어야 하는 한 장의 종이에 불과했던 "설명"을 검증할 수 있는 증거로 바꿉니다.

핵심 교훈: 공공 혜택의 세계에서 설명은 단순히 명확한 것에 관한 것이 아니라 법적으로 진실인 것에 관한 것입니다. 이 시스템은 진실이 실제로 말해지고 있는지 확인하는 도구입니다.

기술 요약

기술 요약: 공공 부문 AI 의 법적 책임성을 위한 신경-상징적 프레임워크

1. 문제 제기

공공 기관은 increasingly 복지 급여 접근을 관리하기 위해 자동화된 의사결정 (ADM) 시스템에 의존하고 있습니다. 이러한 시스템은 효율성을 약속하지만, 종종 투명성이 부족하여 신청자가 자격 결정 사항을 이해하거나 이의제기를 하는 것이 어렵습니다. 현재 설명 가능한 AI(XAI) 접근법은 모델의 해석 가능성, 충실도, 또는 사용자 신뢰에 초점을 맞추고 있습니다. 그러나 법적 및 행정적 맥락에서 설명의 주된 기능은 단순히 이해되는 것이 아니라, 대립적 또는 준사법적 환경에서 이의제기가 가능한 법적 근거로 작용하는 것입니다.

식별된 핵심 문제는 기존 설명 (예: 조치 통지서) 이 인간 독자에게 그럴듯해 보일 수 있지만, 올바른 법적 권한을 참조하지 않거나 법령 조건을 잘못 진술할 수 있다는 점입니다. 이러한 정당화 산출물이 governing statutes(지배 법령) 에 대해 법적으로 유효한지를 검증할 기술적 인프라가 부족합니다. 현재 감사 방법은 결정 수준의 준수나 모델 행동에 초점을 맞추는 경우가 많아, 설명 자체의 법적 무결성을 간과합니다. 이러한 격차는 신청자와 감독 기관이 결정이 법령 기준과 절차적 규범을 충족하는지 효과적으로 평가하는 것을 방해합니다.

2. 방법론

저자들은 복지 자격 설명의 법적 적절성을 자동으로 검증하도록 설계된 신경 - 상징적 프레임워크를 제안합니다. 이 시스템은 모델 내부 해석에서 신청자에게 제공된 정당화 감사로 초점을 이동시킵니다. 아키텍처는 네 가지 주요 단계로 구성됩니다:

2.1 데이터 소스

• 법령 코퍼스: CalFresh(SNAP) 프로그램을 규율하는 캘리포니아 정책 및 절차 매뉴얼 (MPP) 제 63 편.
• 사례 데이터: 캘리포니아 사회서비스국 (CDSS) 주 청문회 부서에서 나온 50 건의 행정 항소 결정. 이러한 기록에는 기관의 원래 설명, 결정 결과, 그리고 청구인이 제시한 사실적 상황이 포함됩니다.

2.2 시스템 아키텍처

이 프레임워크는 법적 규칙과 사례별 주장을 분리하는 파이프라인을 통해 작동합니다:

1. 온톨로지 구축:

   • MPP 규정을 기반으로 Named Entity Recognition(NER) 및 임베딩 기반 유사성 매칭 (Qwen3-Embedding-8B 사용) 을 사용하여 통제된 법적 어휘를 도출합니다.
   • 온톨로지는 소득, 거주지, 시민권, 자산, 학생 상태 등 핵심 자격 차원을 대상으로 합니다.
   • 이 구조는 권위 있는 출처로의 추적성을 보장하고 중복을 방지합니다.

2. TBox(용어 상자) 인코딩:

   • 법의 규범적 구조(사례 불변 규칙) 를 표현합니다.
   • 법령 조항을 세분화하고 작동 용어를 추출합니다.
   • 대형 언어 모델 (LLM), 구체적으로 OpenAI 의 o1은 이러한 조항을 형식적이고 솔버 준비가 된 논리 규칙 (예: 함의, 필요 조건) 으로 번역하도록 프롬프트됩니다.
   • 각 규칙은 출처 인용 (예: MPP §63-409.111) 과 연결됩니다.

3. ABox(주장 상자) 구축:

   • 사례 수준 내용(사실 및 설명적 주장) 을 표현합니다.
   • 기관의 설명은 LLM 을 사용하여 TBox 와 동일한 논리 형식으로 번역됩니다.
   • 사실적 술어 (예: 가구 규모, 소득 금액) 는 청문회 기록에서 추출됩니다.
   • ABox 는 설명이 소환한 검색된 TBox 규칙, 번역된 설명 논리, 그리고 구체적인 사례 사실을 결합합니다.

4. SMT 기반 검증:

   • Satisfiability Modulo Theories(SMT) 솔버는 TBox(법적 규칙) 와 ABox(사례 주장) 의 공동 만족 가능성을 평가합니다.
   • SAT 결과: 설명은 지배 법령과 일관성이 있으며 법적으로 수용 가능한 정당화로서 기능할 수 있습니다.
   • UNSAT 결과: 설명은 법령과 모순됩니다. 솔버는 충돌을 일으키는 제약의 최소 부분집합인 **불만족 핵심 (unsatisfiable core)**을 추출하고 이를 특정 법령 조항에 매핑합니다.

3. 주요 기여

• 해석 가능성에서 감사 가능성으로의 전환: 이 논문은 공공 알고리즘 책임성이 모델 해석 가능성뿐만 아니라 설명의 법적 유효성으로 측정되어야 한다는 패러다임 전환을 주장합니다.
• 신경 - 상징적 검증 파이프라인: 신경 구성 요소 (LLM) 가 비구조화된 법령 텍스트와 설명의 추출 및 번역을 처리하는 반면, 상징적 구성 요소 (SMT 솔버) 는 결정론적 검증과 추적성을 제공하는 새로운 통합 방식입니다.
• 설명 수준의 책임성: 이전 연구가 선별 도구를 형식화한 것 (예: Escher 와 Banovic, 2020) 과 달리, 이 프레임워크는 신청자에게 발급된 정당화 산출물(조치 통지서) 을 평가하여 이의제기와 항소 권리를 지원합니다.
• 법령 기반 신호: 이 시스템은 단순히 오류를 플래그하는 것이 아니라, 설명이 위반한 정확한 법령 조항을 식별함으로써 실행 가능한 책임성 신호를 생성합니다.

4. 결과

이 프레임워크는 5 가지 자격 카테고리 (학생 상태, 소득, 거주지, 시민권, 자산) 에 걸친 50 건의 CalFresh 사례에서 평가되었습니다. 평가 목적으로 저자들은 설명을 일정하게 유지하면서 자격 결정 사항을 반전시켜 법적 모순을 테스트하는 쌍을 생성했습니다.

• 검증 정확도: 시스템은 법적으로 일관된 (SAT) 과 일관되지 않은 (UNSAT) 설명을 구분하는 데 97.7% 의 전체 정확도를 달성했습니다.
• 국소화 정밀도: 불일치가 감지되었을 때 (UNSAT), 시스템은 관련된 특정 법령 조항을 성공적으로 국소화했습니다.
  • 국소화 F1 점수: 카테고리에 따라 다양했으며, 0.51(소득) 에서 0.83(시민권) 까지였으며, 국소화가 적용 가능한 UNSAT 사례에 대한 전체 평균은 0.977이었습니다.
  • 더 결정적인 규칙을 가진 카테고리 (시민권, 거주지) 는 문맥적 뉘앙스가 있는 카테고리 (소득, 학생 상태) 보다 높은 검색 정확도를 보여주었습니다.
• 사례 연구: "총 소득이 한도를 초과함"으로 급여 종료가 정당화된 특정 사례에서 시스템은 설명이 SAT 임을 확인했습니다. 결정 사항을 "자격 있음"으로 반전시키되 동일한 설명을 유지했을 때, 시스템은 올바르게 UNSAT 을 반환하고 위반된 조항으로 MPP §63-409.111 을 식별했습니다.

5. 중요성과 주장

저자들은 이 작업이 공공 부문 AI 의 기술적 기반에 법적 책임성을 내장하는 **개념 증명 (proof-of-concept)**을 제공한다고 주장합니다.

• 제도적 발판: 이 시스템은 행정 재량을 대체하거나 법적 판단을 자동화하기 위해 설계된 것이 아니라, 감독과 이의제기를 강화하는 "제도적 발판"으로 작용하도록 설계되었습니다. 이는 결정 자체가 아닌 정당화의 검증을 자동화합니다.
• 투명성보다 거버넌스: 이 논문은 설명 가능성을 거버넌스 과제로 재정의합니다. 공공 알고리즘의 경우, 설명은 통계적 연관성을 드러내는 것 이상을 해야 하며, 적법 절차 권리를 충족시키기 위해 결정의 법적 근거를 명확히 해야 한다고 주장합니다.
• 적용 가능성: 이 프레임워크는 하부 의사결정 엔진이 예측 기반, 규칙 기반, 또는 하이브리드인지 여부와 관계없이 적용 가능하며, 신청자에게 발급된 설명 계층을 평가합니다.
• 한계점: 저자들은 겸손하게도 이 시스템이 법령의 작업별 형식화에 의존하며, 개방적 구조의 표준이나 재량적 판단을 완전히 포착할 수 없다고 지적합니다. 평가는 명확한 귀속을 보장하기 위해 통제된 단일 법령 사례를 사용했으므로, 여러 상호작용 법령이 관련된 실제 세계의 복잡성은 추가적인 과제를 제시할 수 있습니다. 이 시스템은 포괄적 법적 판단을 대체하는 것이 아니라 책임성 인프라를 위한 기술적 도구입니다.

결론적으로, 이 논문은 신경 - 상징적 방법을 통해 설명 수준의 법적 책임성을 계산적으로 처리 가능하게 만들 수 있음을 보여주며, 기관, 감독 기관, 개인이 자동화된 정당화가 법령 요구 사항을 충족하는지 평가할 수 있는 메커니즘을 제공합니다.