Knowledge Graph Representations for LLM-Based Policy Compliance Reasoning

Wilder Baldwin 과 Sepideh Ghanavati 가 작성한 논문 "LLM 기반 정책 준수 추론을 위한 지식 그래프 표현"에 대한 상세한 기술 요약입니다.

1. 문제 제기

AI 기능이 소프트웨어에 빠르게 통합됨에 따라, 규제 프레임워크 (예: EU AI 법, NIST AI RMF, OWASP Top 10) 는 복잡하고 중첩되며 진화하는 준수 요구사항을 부과합니다. 실무자들은 이러한 상호 참조 의무를 수동으로 탐색하는 데 어려움을 겪습니다. 대규모 언어 모델 (LLM) 이 준수 작업에 점점 더 많이 사용되고 있지만, 다음과 같은 한계를 겪고 있습니다:

• 환각 (Hallucinations): 특정 정책 조항을 신뢰할 수 있게 인용하지 못함.
• 구식 지식: 매개변수 기반 지식이 새로운 규정보다 뒤처지는 경우가 많음.
• 추론 한계: 다중 홉 (multi-hop) 추론이나 정책 간 추론 수행의 어려움.

본 논문은 지식 그래프 (KGs) 를 사용하여 LLM 추론을 권위 있는 정책 텍스트에 기반하게 함으로써 정확성, 추적 가능성, 그리고 준수 검증을 개선할 수 있는 자동화 시스템의 필요성을 다룹니다.

2. 방법론

저자들은 AI 정책 문서에서 지식 그래프를 구축하고 적응형 검색을 사용하여 질문에 답변하는 에이전트 프레임워크를 제안합니다. 이 시스템은 4 단계 파이프라인을 갖춘 모델 - 컨텍스트 - 프로토콜 (MCP) 서버로 작동합니다:

A. 문서 청킹 (스캔 및 검토)

고정된 토큰 수 대신, 청킹 에이전트는 논리적 구조를 유지하면서 정책 텍스트를 분할하기 위해 2 단계 프로세스를 사용합니다:

1. 스캔: 슬라이딩 윈도우가 LLM 을 프롬프트하여 자연스러운 분할 경계 (예: 조항의 끝) 를 식별합니다.
2. 검토: 계획이 확인됩니다; 청크가 너무 크다면 (>4,000 자), 에이전트가 추가 분할을 제안합니다.

B. 지식 그래프 추출

추출 에이전트가 청크를 처리하여 타입이 지정된 엔티티와 관계를 생성합니다. 본 연구는 두 가지 온톨로지 스키마를 비교합니다:

1. 폐쇄형 스키마 (AIRO): 공식 **AI 위험 온톨로지 (AIRO)**에 기반합니다. EU AI 법 및 ISO 표준에서 파생된 사전 정의된 어휘 (7 가지 엔티티 유형, 6 가지 관계 유형) 를 사용합니다.
2. 개방형 스키마 (Emergent): LLM 이 사전 정의된 어휘 없이 설명적인 스네이크 케이스 레이블 (예: technical_risk, regulatory_obligation) 을 할당하며, 추출 후 이를 정규화합니다.

• 정책 간 정렬: 다양한 출처 (EU, NIST, OWASP) 의 엔티티는 임베딩 유사성 (코사인 $\ge$ 0.70) 과 문자열 유사성을 사용하여 Corresponds To 엣지를 통해 연결됩니다.

C. 적응형 검색 및 답변 합성

라우팅 에이전트가 질문을 복잡성에 따라 "직접 (Direct)" 또는 "에이전트 (Agent)"로 분류합니다:

• 직접 경로 (간단한 작업): 질문을 임베딩하고 상위 5 개 엔티티를 검색한 후 1 홉 이웃을 확장하여 답변을 합성합니다.
• 에이전트 경로 (복잡한 작업): 키워드 검색, 의미론적 검색, 이웃 확장, 경로 찾기를 위한 도구를 사용하여 그래프를 탐색하는 다중 홉 추론을 위해 ReAct 루프(최대 7 단계) 를 사용합니다.
• 합성: 최종 LLM 호출은 증거 엔티티 (관계로 직렬화됨), 원시 청크 텍스트, 인-컨텍스트 학습 (ICL) 예시, 그리고 작업별 지시를 받습니다.

D. 평가 설정

• 데이터셋: 세 가지 프레임워크 (EU AI 법, NIST AI RMF, OWASP Top 10) 에 걸쳐 있는 42 개의 정책 QA 작업.
• 작업 유형: T1(엔티티 조회) 에서 T6(정책 간 추론) 까지 여섯 가지 범주.
• 모델: 세 가지 티어에 걸친 다섯 가지 LLM(최전선: gpt-5-mini, gpt-4.1-mini; 중급: nemotron:30b, gpt-oss:20b; 소형: granite4:micro).
• 지표: 휴리스틱 점수 (단어 중복, 집합 일치) 와 정확성, 완전성, 관련성을 평가하는 LLM-as-Judge(gpt-4.1-mini).

3. 주요 기여

1. 에이전트 정책 프레임워크: 파생된 KG 를 구축하고 쿼리하는 완전한 엔드 - 투 - 엔드 파이프라인으로, 통합을 위해 MCP 서버로 노출됨.
2. 온톨로지 비교: **공식적이고 표준에서 파생된 온톨로지 (AIRO)**와 LLM 이 발견한 개방형 스키마 간의 엄격한 실증적 비교.
3. 정책 간 추론 벤치마크: 독립적으로 작성된 프레임워크 간의 개념을 매핑하도록 모델을 도전하는 작업 유형 T6의 도입 (예: OWASP 위험을 EU AI 법 요구사항과 연결).
4. 모델 능력 임계값: 에이전트 그래프 탐색이 더 큰 모델에는 이점을 주지만 더 작은 모델에는 성능을 저하시키는 임계값 식별.

4. 주요 결과

• KG 증강은 성능을 향상시킴: KG 증강 LLM 은 다섯 가지 모델 전반에 걸쳐 "컨텍스트 없음" 기준선보다 우수한 성과를 보였습니다.
  • 심사관 점수 향상: 향상 폭은 +0.17 에서 +0.55까지 다양했습니다.
  • 최고 성능자: gpt-oss:20b가 가장 큰 심사관 점수 향상 (+0.55, 개방형 KG 사용) 을 보였습니다.
• 스키마 성능:
  • 개방형 (Emergent) 스키마는 5 개 모델 중 3 개 모델에서 심사관 점수 측면에서 공식 AIRO 스키마와 일치하거나 이를 초과했습니다.
  • 개방형 스키마의 유연성은 예상되는 답변 어휘와 더 잘 일치하는 더 풍부하고 설명적인 엔티티 이름을 가능하게 했습니다.
• 작업별 통찰:
  • T1/T3(조회/속성): KG 가 매개변수 메모리만으로는 LLM 이 생성할 수 없는 정책의 원문 인용구를 제공했기 때문에 가장 강력한 향상 (+0.11 에서 +0.40) 을 보였습니다.
  • T5(준수 확인): KG 는 답변을 "부분적으로 준수"와 같은 유보적인 표현에서 "예, 제 50 조 인용"과 같은 확정적이고 인용된 판단으로 변화시켰습니다.
  • T6(정책 간): 가장 작은 향상을 보였습니다. 성공은 정책 간의 어휘 중복에 크게 의존했으며, 용어가 다를 때 (예: "데이터 중독" 대 "학습 데이터 편향") 모델이 어려움을 겪었습니다.
• 모델 능력 임계값:
  • 대형 모델: 에이전트 경로(다중 홉 탐색) 로부터 혜택을 받아 복잡한 추론이 개선되었습니다.
  • 소형 모델 (예: granite4:micro): 에이전트 경로를 사용할 때 복잡한 작업 (T4, T6) 에서 성능 저하를 보였습니다. 이들은 직접 경로만 사용할 때 가장 잘 수행되었습니다.

5. 의의 및 향후 작업

• 실용적 유용성: 이 연구는 인용 가능한 증거를 제공하고 환각을 줄이는 데 특히 규제 준수를 위해 LLM 을 KG 에 기반하는 것이 필수적임을 보여줍니다.
• 온톨로지 유연성: 공식 온톨로지가 우월하다는 가정과 달리, 자연어 쿼리와의 더 나은 의미론적 정렬로 인해 LLM 이 발견한 스키마가 QA 작업에 있어 동등하거나 더 효과적일 수 있습니다.
• 전략적 검색: 검색 전략은 모델 능력에 조건부로 설정되어야 함을 시사합니다. 소형 모델은 성능 저하를 피하기 위해 복잡한 에이전트 루프를 우회하고 직접 검색을 선호해야 합니다.
• 향후 방향: 저자들은 파이프라인을 소스 코드 분석(정책 KG 와 함께 코드 그래프를 탐색) 으로 확장하고, 정책 간 어휘 불일치 병목 현상을 해결하기 위해 임베딩 유사성 이상의 고급 엔티티 정렬 방법을 탐구할 계획입니다.

한계: 평가는 영어 기반 서구 프레임워크로 제한되며, 소규모 질문 세트 (42 개 항목) 를 사용하며, 인간 개발자 사용자 연구 없이 자동화된 점수에 의존합니다.