기술 요약: 에이전트형 하네스를 이용한 의무론적 추론 (DAR)

문제 정의

의무론적 추론(Deontic reasoning)은 명시적인 규칙과 정책을 사례별 사실에 적용하여 질문에 답하는 것을 포함하며, 이는 세금 계산, 이민 항소, 정책 준수와 같은 고위험 영역에서 매우 중요한 능력이다. 이 영역의 주요 기술적 과제는 규칙 세트의 성격에 있다. 법령은 대개 방대하고 상호 참조가 빈번하며, 특정 사례와 무관한 조항이 대부분인 반면, 의무 사항은 다른 곳에 위치한 정의 및 예외 조항에 의해 제한된다는 특징이 있다.

현재의 평가 패러다임은 일반적으로 전체 법령, 사례 사실, 그리고 질문을 하나의 프롬프트에 모두 집어넣으며, 모델이 단 한 번의 패스로 관련 규칙을 식별하고 적용하도록 요구한다. 그러나 최근의 에이전트 기반 검색 연구에 따르면, 모델은 텍스트를 정적인 컨텍스트로 받는 것보다 일반 목적 도구(예: grep, sed, shell 명령)를 사용하여 검색할 때 더 긴 코퍼스를 효과적으로 처리할 수 있다. 이러한 "에이전트 기반 검색"의 이점이 단순히 정보 검색을 넘어, 검색된 규칙에 기반하여 추론해야 하는 의무론적 추론에서도 확장되는지는 여전히 미해결 과제로 남아 있다.

방법론

저자들은 법령을 정적인 컨텍스트로 제공하는 대신, 이를 하네스 환경 내의 파일(statute.txt)로 배치하는 의무론적 에이전트 추론 (Deontic Agentic Reasoning, DAR) 프레ме워크를 도입한다. 모델은 요청에 따라 도구를 사용하여 이 파일과 상호작용한다.

실험 설정

• 데이터셋: DeonticBench의 어려운 하위 집합을 대상으로 네 가지 태스크를 수행한다:
  • SARA (Numeric): 수치적 세금 부채 계산 (미국 연방세).
  • SARA (Binary): 이진 법적 함의 분류.
  • Airline: 수하물 요금 정책 적용.
  • USCF-AAO: 이민 항소 결과 예측.
• 모델: GPT-5.1, GPT-5.2, Claude Sonnet 4.5와 같은 최첨단 독점 모델과 Qwen3.5 제품군, Qwen3-Coder, Kimi K2를 포함한 오픈 소스 모델 등 9개의 모델을 평가한다.
• 하네스: 저자들은 Direct Solving (정적 컨텍스트)과 Harbor 프레임워크에 의해 오케스트레이션되는 두 가지 에이전트형 하네스를 비교한다:
  • Terminus-2: 모델이 대화형 tmux 세션을 통해 샌드박스 내에서 자율적으로 작동하는 터미널 기반 에이전트 하네스.
  • Terminus-KIRA: 조기 제출, 잘못된 완료 신호, 취약한 계획 조정과 같은 최첨단 모델에서 관찰되는 특정 실패 모드를 완화하기 위해 설계된 Terminus-2 기반의 향상된 하네스.

주요 결과

실험 결과, 모델의 역량에 따라 성능의 극명한 차이가 나타났다:

1. 최첨단 모델의 이점: 독점 모델(GPT-5.2, Claude Sonnet 4.5, GPT-5.1)은 특히 수치적 태스크에서 에이전트형 하네스 사용 시 유의미한 성능 향상을 보였다.

   • SARA-Numeric에서 GPT-5.2는 30%(Direct)에서 60%(Terminus-KIRA)로 향상되었다.
   • Claude Sonnet 4.5는 36%에서 54%로 상승했다.
   • 이 모델들은 하네스를 활용하여 자기 주도적 검색을 수행하고 중간 오류로부터 회복함으로써, 잠재된 법령 독해 능력을 효과적으로 끌어올렸다.

2. 오픈 소스 모델의 성능 저하: 최첨단 모델을 돕는 동일한 스캐폴딩이 오픈 소스 모델에서는, 특히 수치적 태스크에서 심각한 성능 저하를 야기했다.

   • Qwen3.5-35B는 SARA-Numeric에서 Terminus-KIRA 적용 시 34%에서 11%로 급락했다.
   • Qwen3.5-122B는 37%에서 20%로 떨어졌다.
   • Airline 태스크의 경우, 모든 오픈 소스 모델이 Direct Solving에서는 무시할 수 없는 베이스라인을 보유했음에도 불구하고, Terminus-2 및 Terminus-KIRA 환경에서 정확도가 거의 0에 가깝게 붕괴되었다.

3. 토큰 소비 및 오류 모드:

   • 에이전트형 하네스는 토큰 소비를 크게 증가시킨다. 오픈 소스 모델은 Terminus-2 환경에서 최첨단 모델보다 최대 4배 더 많은 토큰을 소비했다 (예: Qwen3.5-122B는 평균 401k 토큰을 소비한 반면, 최첨단 모델은 약 100k 토큰을 소비함).
   • 지능적인 중단 대신, 성능이 낮은 모델들은 추가적인 턴을 사용하여 더 길고, 더 확신에 차 있지만, 실제로는 틀린 답을 생성하는 경향을 보였다.
   • 오류 분석 결과, 오픈 소스 모델은 주로 타임아웃(10분 제한 시간 초과)과 파싱 실패를 겪는 반면, 최첨단 모델은 하네스 환경 전반에서 오류 없이 안정적인 모습을 보였다.

기여

본 논문의 주요 기여는 다음과 같다:

1. DAR 프레임워크: 법령을 정적 컨텍스트가 아닌 하네스를 통해 온디맨드로 접근하는 의무론적 에이전트 추론 설정을 도입하였다.
2. 체계적 비교: DeonticBench를 바탕으로 최첨단 모델과 오픈 소스 모델 전반에 걸쳐 DAR을 직접 프롬프팅과 체계적으로 비교 평가하였다.
3. 역량 의존적 효과 입증: 에이전트형 하네스의 효용성이 균일하지 않음을 입증하였다. 즉, 하네스는 최첨단 모델에게는 역량 증폭기로 작용하지만, 성능이 낮은 모델에게는 성능을 저하시키면서 계산 비용만을 높이는 결과를 초래한다.

의의 및 주장

본 논문은 에이전트형 하네스가 가장 어려운 의무론적 추론 태스크의 한계를 밀어 올리지만, 이것이 만능 해결책은 아니라고 주장한다. 연구 결과는 **"관리되지 않은 천재 가설(Mismanaged Geniuses Hypothesis)"**을 뒷받침하는데, 이는 유능한 모델이 복잡한 규칙을 탐색할 수 있는 잠재적 능력을 갖추고 있으나, 상호작용 가능한 도구 접근 권한이 주어질 때만 그 능력이 해제된다는 점을 시사한다. 반대로, 성능이 낮은 모델에게 하네스는 "확신 증폭기(confidence amplifier)"로 작용하여, 더 장황하지만 덜 정확한 출력을 만들어낸다.

저자들은 도구 접근 권한을 제공하는 것이 성능을 일률적으로 향상시킨다는 가정에 주의를 당부한다. 그들은 성능이 낮은 모델의 경우, 하네스가 상당한 컴퓨팅 자원을 소비하면서도 확신에 찬 오류를 생성할 수 있다고 강조한다. 결과적으로, 현재의 LLM을 (에이전트형 하네스 사용 여부와 상관없이) 법률이나 세무와 같은 고위험 분야의 자율적 의사 결정자로 배치하는 것에 대해 경고하며, 최첨단 모델조차 이러한 태스크에서 부분적인 정확도만을 달ol성한다는 점을 지적한다.

본 연구는 DeonticBench 도메인(미국 세무, 이민 정책, 항공 정책) 및 특정 하네스 구현으로 제한된다. 저자들은 훨씬 더 긴 규칙 세트(예: 미국 연방 국세법 전체)의 경우, DAR을 더 발전된 검색 시스템과 결합하지 않는 한 현재의 파일 기반 접근 방식이 효율적으로 확장되지 못할 수 있다고 언급하였다.