기술 요약: 확신에 찬 오답: 프런티어 LLM 규칙 평가에서의 예외 체인 붕괴 (Exception Chain Collapse)

1. 문제 정의

본 논문은 프런티어 대규모 언어 모델(LLM)에서 발생하는 특정하고 체계적인 실패 모드인 **"예외 체인 붕괴(exception chain collapse)"**를 식별한다. 이는 *"B가 적용되지 않는 한 A가 요구되나, B를 무효화하는 C가 적용된다"*와 같은 중첩된 조건부 규칙이 포함된 자격 평가 작업 중에 발생한다.

프런티어 LLM은 단순한 OR 분기형과 같은 직관적인 다중 경로 로직(multi-route logic)에서는 우수한 성능을 보이지만, 다단계 예외 체인(특히 3단계 깊이)을 평가해야 할 때는 성능이 현저히 저하된다. 논문은 두 가지 뚜렷한 실패 패턴을 기록한다:

1. 면제 앵커링 (Exemption Anchoring): 모델이 면제 사항을 기본 경로보다 부차적인 것으로 취급한다. 기본 경로가 실패할 경우, 모델은 해당 실패에 "앵커링(고착)"되어 독립적으로 유효한 대안 면제 경로를 평가하지 못한다.
2. 예외 체인 붕합 (Exception Chain Collapse): 모델이 다단계 UNLESS 로직을 올바르게 중첩하지 못하며, 종종 독립적인 면제 경로를 서로 의존적인 것으로 혼동한다 (예: "보훈" 면제를 "연령" 면제에 종속된 것으로 취급).

핵심 불안정성: 이 과업에서 프런티어 모델의 정확도는 "움직이는 준수 경계(moving compliance boundary)"라는 결정적 발견이 있었다. 2026년 3월과 4월 사이, 동일한 모델 에일리어스(예: GPT-5.4 및 Claude Opus 4.6) 하에서 벤치마크의 특정 실패 셀(failure cells)이 버전 업데이트 없이도 조용히 닫혔다. 이는 일관성이 필수적인 규제 워크플로우에서 벤치마크 시점의 정확도 주장이 신뢰할 수 없음을 의미한다.

2. 방법론

저자들은 규칙 작성(authoring)과 규칙 실행(execution)을 분리하도록 설계된 신경-기호(neuro-symbolic) 아키텍처인 Aethis Eligibility Module을 제안하고 평가한다.

아키텍처

• 단계 1: 자동 규칙 작성 (LLM): LLM이 권위 있는 법률 소스(입법, 정책 지침)를 읽고, 제약된 도메인 특화 언어(DSL)로 구성된 구조화된 코드 형태로 규칙을 생성한다. 이 단계에는 생성된 모든 규칙이 특정 출처 인용(문서 ID, 섹션 경로, 직접 인용구)에 연결되는 프로비넌스 체인(provenance chain)이 포함된다.
• 단계 2: 자격 모듈 (결정론적 엔진): 생성된 DSL은 정식 만족 가능성 이론(SMT) 제약 조건으로 컴파일된다. 이후 SMT 솔버가 이러한 제약 조건을 구조화된 신청자 데이터에 대해 평가한다.
  • 핵ity 메커니즘: 엔진은 모든 자격 경로를 논리합(disjunction, OR)으로 결합된 정식의 독립적인 불리언 브랜치로 취급한다. 이는 모델의 드리프트, 추론 노력 또는 프롬프트 형식과 무관하게 결정론적으로 이러한 브랜치들을 평가한다.

벤치마크 설계

저자들은 네 가지 도메인에 걸쳐 225개의 시나리오를 구축한 벤치마크를 제작하였다:

1. 영국 생활 (Life in the UK): 실제 영국 이민 입법 (영국 국적법 1981).
2. 영어 숙련도 (English Language Proficiency): 실제 영국 이민 지침.
3. 우주선 인증 (Spacecraft Certification): 영국 입법 구조를 모델링한 합성 법령 (3단계 예외 체인 포함).
4. 건설 보험 (Construction Insurance): 런던 시장의 DE3/DE5 조항을 모델링한 합성 약관 (5단계 예외 체인 포함).

이 벤치마크는 Anthropic과 OpenAI의 8개 LLM(프런티어 4개, 프로덕션 티어 4개)을 대상으로 결정론적 Eligibility Module과 비교 평가되었다.

3. 주요 기여

1. 실패 패턴 분류학

논문은 "예외 체인 붕괴"와 "면제 앵커링"을 중첩된 예외 체인 평가에서의 체계적인 오류로 공식적으로 규정한다. 이러한 실패는 다음과 같은 특성을 갖는다:

• 구성적 (Compositional): 법률 지식의 부족이 아니라 로직의 깊이(3단계)에서 기인한다.
• 프롬프팅에 대한 강건성 결여 (Robust to Prompting): 향상된 프롬프팅(예: "단계별로 생각하라", "면제를 독립적으로 평가하라")은 이 문제를 해결하지 못하며, 오히려 거짓 음성(false negatives)을 거짓 양성(false positives)으로 교체하여 순 정확도를 떨어뜨린다.
• 불안정성 (Unstable): 특정 실패 지점은 모델 업데이트에 따라 조용히 이동하므로, 프런티어 모델을 고위험, 감사 필수적 결정에 사용하는 것은 신뢰할 수 없다.

2. Aethis Eligibility Module

본 논문은 불확실성을 추론 경계(LLM에서 침묵적이고 연속적인 지점)에서 명세 경계(의도적이고 감사가 가능한 지점)로 재배치하는 신경-기호 시스템을 제시한다.

• 보장 (Guarantee): 실행 계층은 수학적으로 정의된 의미론을 제공한다. 규칙 번들이 올바르게 정식화되었다면, 실행은 모델 버전이나 설정에 관계없이 명세와 100% 일치한다.
• 감사 가능성 (Auditability): 모든 결정은 결과로부터 특정 입법 조항 및 논리적 경로로 직접 연결되는 프로비넌스 체인을 포함한다.

3. 실증적 증거

• 벤치마크 결과: Eligibility Module은 225개 시나리오 전체에서 100%의 정확도를 달sq성했다.
• LLM 성능: 프런티어 모델은 예외 체인 과업에서 상당한 저하를 보였다. 예를 들어, 2026년 3월 스냅샷에서 Claude Opus 4.6은 우주선 섹션에서 89.7%(61/68)를 기록했으며, 독립적인 실행 3회 중 7개의 특정 시나리오에서 0/3번의 실패를 보였다.
• 적대적 확장 (Adversarial Extension): v3.8 적대적 확장(20개의 새로운 건설 보험 시나리오)에서 결정론적 엔진은 20/20점을 기록했다. 일부 프런티어 모델이 원래의 제품군에서 100%에 도달하기도 했으나, 더 깊은 적대적 케이스에서는 실패했다 (예: Claude Opus 4.7은 20개 중 2개 실패, GPT-5.4 default는 20개 중 1개 실패).
• 외부 검증: 9개 LegalBench 태스크의 949개 홀드아웃 케이스에 대해, Eligibility Module은 세 개의 프런티어 모델보다 유의미하게 더 높은 정확도를 보였다 (결합 McNemar's $p \le 0.003$). 가장 큰 격차(+41 퍼센트 포인트)는 다중 프롱(multi-prong) 규칙 적용 과업에서 나타났다.

4. 의의 및 주장

본 논문은 LLM이 일반적으로 신뢰할 수 없다거나 법률적 추론을 할 수 없다고 주장하는 것이 아니다. 대신, 다음과 같은 겸허하고 구체적인 주장을 한다:

• 불확실성의 재배치: 주요 기여는 아키텍처에 있다. LLM을 작성(유창함이 자산이 되는 영역)에 사용하고 SMT 솔버를 실행(결정론이 필요한 영역)에 사용함으로써, 시스템은 불확실성을 다룰 수 있게 만든다. 불확실성은 (모델의 변화가 침묵적이고 관찰 불가능한) 단계 3(추론 단계)이 아닌, 테스트 기반 검증을 통해 관리 가능한 단계 2(규칙 정식화 단계)로 이동된다.
• 규제적 방어 가능성: 이민, 보험, 안전 인증과 같이 거짓 음성이 권리를 박탈하고 설명 가능성이 필수적인 고위한 도메인에서, 결정론적 실행 계층은 프런티어 LLM이 제공할 수 없는 속성인 **불변성(invariance)**을 제공한다. 컴파일된 규칙 번들은 하위 모델 가중치의 조용한 변화와 관계없이 오늘과 6개월 후 동일한 결과를 산출한다.
• 한계: 저자들은 시스템이 명세 자체의 정확성이 아닌, 명세의 정확한 실행을 보장한다고 명시한다. 규칙 번들의 품질은 텍스트를 정식화하는 LLM의 능력(단계 2)에 달려 있으며, 이는 테스트 기반 검증을 통해 완화되지만 완전히 제거되지는 않는다. 현재 시스템은 구조화된 입력을 필요로 하며 비구조화된 문서 추출은 처리하지 않는다.

요약하자면, 본 논문은 규제 워크플로우 내의 중첩된 예외 체인 평가를 위해 결정론적 형식 실행이 신뢰를 위한 필요 조건이며, 신경-기호 아키텍처가 LLM의 유용성을 희생하지 않으면서 이를 달성할 수 있는 실행 가능한 경로를 제공한다고 주장한다.