기술 요약: AUDITFLOW

문제 정의

구조화된 재무 감사 검증은 대규모 언어 모델(LLM) 에이전트에게 매우 까다로운 과제를 제시합니다. 표준적인 텍스트 기반 작업과 달리, 재무 감사에서의 정확성은 자연어만이 아니라 구조화된 증거에 달려 있습니다. 에이전트는 보고된 사실을 특정 분류 체계 개념과 연결하고, 복잡한 계산 또는 차원 관계를 탐색하며, 예상 값을 재계산하고, 감사 규칙을 적용해야 합니다.

기존의 접근 방식들은 LLM이 최종적인 해석, 산술 또는 규칙 적용을 수행하도록 맡기기 때문에 실패하는 경우가 많습니다. FinAuditing과 같은 벤치마크에 따르면, 가장 강력한 성능을 가진 모델조차 수치 일관성 작업에서 13.86%의 정확도만을 달อย했습니다. 핵심적인 어려움은 정확성이 단일 문장에 저장되어 있는 것이 아니라, 보고된 사실과 이를 규정하는 구조적 제약 사이의 상호작용으로부터 발생한다는 점에 있습니다. 기존의 도구 증강형 또는 멀티 에이전트 프레임워크는 검증의 부담을 언어 모델 내부에 남겨두는 경향이 있으며, 이는 결정론적 산술 및 엄격한 규칙 준수 능력에 취약한 LLM에게 한계를 드러냅니다.

방법론: AUDITFLOW

저자들은 적응형 탐색(LLM 에이전트가 담당)과 결정론적 검증(기호적 환경이 담당)을 분리하도록 설계된 그래프 기반 멀티 에이전트 프레임워크인 AUDITFLOW를 제안합니다.

1. 이중 그래프 기호적 환경 (Dual-Graph Symbolic Environment)

AUDITFLOW는 두 개의 상호 연결된 그래프로 구성된 기호적 환경($E$)을 구축합니다:

• 정적 규제 그래프 ($G^y_T$): US-GAAP 분류 체계를 인코딩합니다. 노드는 메타데이터(레이블, 정의, 데이터 유형)를 가진 개념을 나타내며, 엣지는 프레젠테이션, 계산 및 차원 관계를 인코딩합니다.
• 동적 공시 그래프 ($G_F$): 특정 XBRL 공시 내용을 인코딩합니다. 노드는 보고된 사실, 컨텍스트, 기간 및 단위를 나타냅니다.
• 브릿지 엣지 (Bridge Edges): 공시 그래프의 보고된 사실을 정적 그래프의 규제 개념에 연결하여, 시스템이 특정 숫자에서 규제 제약으로 이동했다가 다시 돌아올 수 있도록 합니다.

2. 타입 지정 액션-관측 인터페이스 (Typed Action-Observation Interface)

에이전트는 자유 형식의 그래프 연산이 아닌, 타입이 지정된 결정론적 도구를 통해 이 환경과 상호작용합니다. 도구는 다음과 같이 분류됩니다:

• 검색 (Retrieval): 개념 메타데이터, 사실 및 컨텍스트를 가져옵니다.
• 탐색 (Traversal): 계산 트리와 차원 구조를 탐색합니다.
• 포렌식 (Forensic): 기간, 차원 및 규모 간의 사실을 비교합니다.
• 결정론적 체커 (Deterministic Checkers): 최종적인 규칙별 검사(예: 부호 일관성, 계산 트리 일관성, 차원 집계)를 실행합니다. 이 체커들은 LLM이 임의로 변경할 수 없는 구조화된 관측값(판결, 예상 값, 뒷받침하는 사실)을 반환합니다.

3. 3단계 에이전트 감사 프로토콜

이 프레임워크는 특화된 멀티 에이전트 워크플로우를 채택합니다:

• 컴플라이언스 감사인 ($A_1$): "명세 우선(specification-first)" 접근 방식을 취합니다. 분류 체계 메타데이터와 규칙에서 시작하여, 보고된 사실을 제약 조건과 대조합니다. 정적 분류 체계 도구를 사용합니다.
• 포렌식 감사인 ($A_2$): "증거 우선(evidence-first)" 접근 방식을 취합니다. 보고된 사실에서 시작하여 기간 비교 및 차원 분해를 수행한 후, 동일한 결정론적 체커를 사용하여 결과를 확인합니다. 정적 및 동적 도구를 모두 사용합니다.
• 시니어 감사인 ($A_s$): $A_1$과 $A_2$의 보고서를 검토합니다. 두 에이전트의 의견이 일치하면 시스템을 진행합니다. 만약 의견이 불일치할 경우, 시니어 감사인은 갈등의 원인(예: 누락된 사실, 잘못된 기간)을 식별하고 타겟팅된 피드백을 제공하여 주니어 에이전트들이 추가 조사를 수행하도록 보냅니다. 시니어 감사인은 상호작용을 관리하지만 결정론적 도구를 대체하지는 않습니다.

4. 증거 집합 (Evidential Aggregation)

최종 판결은 단순한 투표가 아니라 증거 추론(Dempster-Shafer 이론)의 결과입니다. 각 주니어 감사인의 보고서는 {위반(Violation), 일치(Consistent), 무지(Ignorance)} 가설에 대한 질량 함수(mass function)로 매핑됩니다. 이 질량들은 융합되어 최종 판결, 예상 값, 증거 경로 및 미해결된 증거의 양을 측정하는 신뢰도 점수($\tau$)를 생성합니다.

주요 기여

1. 그래프 기반 검증의 정의: 본 논문은 정답이 단순한 텍의 생성이 아니라 공시 사실, 분류 체계 제약, 수치 검사 및 조사 가능한 증거에 달려 있는 새로운 작업 형식을 정의합니다.
2. AUDITFLOW 프레임워크: US-GAAP 분류 체계 지식과 공시별 증거를 연결하고, 이를 타입 지정된 결정론적 도구를 통해 노출하는 이중 그래프 멀티 에이전트 시스템을 제안합니다.
3. 탐색-계산의 분리: LLM의 역할(탐색 유도)과 환경의 역할(결정론적 검사 실행)을 분리하는 것이 신뢰할 수 있는 감사 검증에 필수적임을 입증합니다.

실험 결과

본 프레임워크는 세 가지 데이터 품질 위원회(DQC) 규칙 제품군을 다루는 FinAuditing FinMR 작업의 67개 인스턴스 하위 집합에서 평가되었습니다.

• 성능: GPT-5.5 환경에서 AUDITFLOW는 82.09%의 공동 감사 정확도를 달성하여, 가장 강력한 베이스라인(Single Agent)보다 14.93 퍼센트 포인트 높은 성능을 보였습니다. 또한 모든 테스트된 백본 모델(GPT-4o, Claude Sonnet 4.6, Qwen-397B)에 대해 검색 기반 방법(GraphRAG, TreeRAG) 및 기존 벤치마크(FinAuditing, Herculean)를 능가했습니다.
• 강건성: 시스템은 다양한 강력한 백본 모델에 걸쳐 높은 정확도(80.60%)를 유지하여, 프레임워크의 효과가 특정 독점 모델에 종속되지 않음을 보여주었습니다.
• 절제 연구 (Ablation Studies):
  • 결정론적 체커: 기호적 환경의 결정론적 체커를 제거했을 때 정확도가 82.09%에서 17.91%로 급락하였으며, 이는 LLM이 검증 단계를 신뢰성 있게 대체할 수 없음을 증명합니다.
  • 필수 도구 게이트 (Required-Tool Gate): 에이전트가 완료하기 전에 특정 검사를 마치도록 강제하는 게이트를 제거하자, 잘못된 출력(invalid outputs)이 1.49%에서 17.91%로 증가했습니다.
  • 증거 집합: 융합 단계를 제거하면 정확도가 77.61%로 감소했습니다.

의의 및 주장

본 논문은 신뢰할 수 있는 감사 에이전트는 텍스트 전용 추론이 아닌 실행 가능한 구조화된 환경을 중심으로 구축되어야 한다고 주장합니다. 주요 기여는 LLM이 복잡한 정보 공간을 탐색(search)하는 데는 효과적이지만, 최종적인 핵심 검증 단계(computation)를 수행하는 데는 신뢰할 수 없다는 점을 입증한 데 있습니다.

저자들은 AUDITFLOW가 다음을 통해 금융 AI의 "검증 격차(verification gap)"를 성공적으로 해결했다고 주장합니다:

1. 산술 및 규칙 적용을 결정론적 도구로 오프로딩(offloading)함.
2. 상보적인 관점에서 증거를 탐색하기 위해 멀티 에이전트 프로토콜을 사용함.
3. 조사 가능한 증거 경로와 신뢰도 점수를 제공하여 감사 과정을 투명하고 감사 가능하게 만듦.

결론적으로, 본 논문은 올바름이 의미론적 그럴듯함이 아닌 구조적 제약에 의해 결정되는 고위험 영역에서는, 기호적 환경 내에서 탐색과 계산을 분리하는 이 설계 패턴이 필수적이라고 강조합니다.