Assessing Model-Agnostic XAI Methods against EU AI Act Explainability Requirements

이 논문은 EU AI 법의 설명 가능성 요구사항과 모델-중립적 XAI 방법 간의 격차를 해소하기 위해, 전문가의 정성적 평가를 규제 준수 점수로 변환하는 정성적 - 정량적 평가 프레임워크를 제안합니다.

핵심

🍎 핵심 비유: "신비로운 사과 상자와 요리사"

상상해 보세요. 유럽에는 **"신비로운 사과 상자 (블랙박스 AI)"**를 파는 가게들이 있습니다. 이 상자는 사과를 넣으면 어떤 사과인지, 왜 그 사과를 골랐는지 알려주지 않고 그냥 "이게 최고야!"라고만 말합니다.

하지만 유럽 연합 (EU) 은 새로운 법을 만들었습니다.

"이 사과를 왜 골랐는지, 그 이유를 일반인도 이해할 수 있게 설명해야 한다. 그래야 사람들이 믿고 사줄 수 있다."

이때 문제가 생깁니다.

• 법률가들: "사과를 고른 이유를 정확하게, 바뀌지 않게, 그리고 간단하게 설명해!"라고 요구합니다.
• 기술자들 (AI 개발자): "우리는 수많은 '설명 도구 (XAI)'를 가지고 있는데, 어떤 게 법을 지키는 데 가장 적합한지 모르겠어요. LIME 이 나을까? SHAP 이 나을까?"

이 논문은 바로 그 기술자들이 어떤 설명 도구를 골라야 법을 지킬 수 있는지를 알려주는 매칭 가이드입니다.

---

🛠️ 연구자가 한 일: "점수판 만들기"

연구자들은 다음과 같은 3 단계 작업을 했습니다.

1. 설명 도구의 특징을 분석하기 (선생님 평가)

연구자들은 유명한 AI 설명 도구들 (LIME, SHAP, 결정 트리 등) 을 하나씩 불러와서 다음과 같은 3 가지 시험을 치렀습니다.

• 정확성 (Faithfulness): "사과를 고른 진짜 이유를 100% 정확히 설명했니?" (거짓말을 안 했나?)
• 안정성 (Robustness): "약간만 사과를 흔들어도 설명이 뒤틀리지 않니?" (약간의 변화에도 설명이 일관되게 유지되나?)
• 간단함 (Complexity): "설명문이 너무 길고 복잡하지는 않니?" (일반인이 읽을 수 있나?)

2. 법의 요구사항을 분석하기 (시험 문제)

유럽의 'AI 법'을 꼼꼼히 읽어보며, 법이 요구하는 '시험 문제'를 뽑았습니다.

• "고위험 AI(예: 대출 심사) 는 정확한 이유를 반드시 설명해야 한다."
• "사용자에게는 간단한 설명이 필요하다."
• "시스템 전체의 작동 원리도 미리 설명해야 한다."

3. 점수 계산기 만들기 (매칭)

이제 **설명 도구의 특징 (1 단계)**과 **법의 요구사항 (2 단계)**을 대조했습니다.

• "법에서 '정확성'을 필수로 요구하는데, 이 도구는 정확성이 5 점 만점에 5 점이다? 👍 점수 높게 줘!"
• "법에서 '간단함'은 optional(선택) 이고, 이 도구는 복잡하다? 👎 점수 조금 깎아줘."

이렇게 해서 각 도구마다 **법 준수 점수 (Compliance Score)**를 매겼습니다.

---

🏆 결과: 누가 이겼을까?

연구 결과, 법을 가장 잘 지키는 '스타 플레이어'들은 다음과 같습니다.

1. SHAP (샵):

   • 특징: "정확성"과 "안정성"이 매우 뛰어납니다.
   • 비유: 정직한 변호사처럼, AI 가 왜 그 결정을 내렸는지 빠짐없이, 정확하게, 그리고 흔들리지 않게 설명해 줍니다.
   • 추천: "법적 분쟁이 생길 수 있는 중요한 결정 (대출, 채용 등) 을 설명할 때 가장 좋습니다."

2. RuleSHAP / RuleFit:

   • 특징: SHAP 의 정확성을 가지면서도, "만약 ~하다면 ~하다" 같은 간단한 규칙으로 설명합니다.
   • 비유: 요리사가 "소금 1 스푼, 후추 0.5 스푼"처럼 복잡한 과정을 간단한 레시피로 정리해 주는 것과 같습니다.
   • 추천: 일반인 사용자에게 설명할 때나, 문서화에 좋습니다.

3. 결정 트리 (Decision Trees):

   • 특징: 아주 복잡한 설명을 나무 가지처럼 깔끔한流程图로 보여줍니다.
   • 비유: 유아용 그림책처럼 매우 직관적입니다. 하지만 약간의 변화에 설명이 크게 바뀔 수 있다는 단점이 있습니다.
   • 추천: 매우 복잡한 내용을 초보자도 이해하게 할 때 유용합니다.

---

💡 이 연구가 주는 교훈

이 논문의 가장 중요한 메시지는 **"하나의 만능 도구는 없다"**는 것입니다.

• 법률가는 "정확한 설명"을 원하고, 일반 사용자는 "간단한 설명"을 원합니다.
• 따라서 기업들은 상황에 따라 도구를 섞어서 사용해야 합니다.
  • 예: 내부 기술 문서에는 SHAP(정확한 이유) 을 쓰고, 고객에게 보여주는 화면에는 RuleSHAP(간단한 규칙) 을 쓰는 식입니다.

🚀 결론

이 논문은 기술자들에게 **"유럽 법을 지키려면 이 도구들을 이렇게 조합해서 써라"**라는 실용적인 지도를 제공했습니다.

앞으로 AI 개발자들은 막연하게 "어떤 설명 도구를 써야 하지?"라고 고민할 필요가 없습니다. 이 논문의 점수판을 보고, "내 AI 가 어떤 법 (조항) 을 적용받는지" 확인한 뒤, 그 법에 가장 높은 점수를 준 도구를 선택하면 됩니다.

이것은 기술과 법이 서로 통하는 다리를 놓아, AI 가 더 투명하고 신뢰할 수 있게 만드는 중요한 첫걸음입니다.

기술 요약

논문 요약: EU AI Act 설명 요구사항에 대한 모델 무관 XAI 방법론 평가

1. 연구 배경 및 문제 정의 (Problem)

• 배경: EU 의 '인공지능법 (AI Act)'과 같은 새로운 규제 프레임워크는 블랙박스 AI 모델의 추론 과정을 공개하고 설명할 것을 요구하며, 이는 설명 가능한 인공지능 (XAI) 의 사용을 implicitly(암묵적) 으로 요구합니다.
• 문제점: 기존 XAI 방법론과 법적으로 요구되는 설명의 목표 사이에는 지속적인 **'투명성 격차 (Transparency Gap)'**가 존재합니다.
  • 기술적 관점: XAI 는 주로 알고리즘의 기술적 설명으로 정의되는 반면, 법은 설명을 책임성 확보, 인간 통제, 인권 보호를 위한 도구로 봅니다.
  • 실무적 어려움: 기업 (특히 중소기업) 은 EU AI Act 를 준수하기 위해 어떤 XAI 기법을 선택해야 하는지에 대한 명확한 가이드라인이 부족합니다.
  • 연구 공백: 기존 연구들은 주로 알고리즘적 측면에 집중하거나, 법적 요구사항을 구체적인 XAI 알고리즘에 체계적으로 매핑하는 방안을 제시하지 못했습니다.

2. 연구 방법론 (Methodology)

저자들은 법적 요구사항과 XAI 기술적 특성을 연결하기 위해 **정성적 평가와 정량적 집계 (Qualitative-to-Quantitative)**가 결합된 혼합 방법론을 제안했습니다.

• 개념 정의:

  • 설명 (Explanation): 법적 맥락에 부합하는 ' Ordinary-language philosophy(일반 언어 철학)' 기반 정의를 채택하여, "이해 촉진 목적의 질문 (명시적/암시적) 에 대한 답변"으로 정의했습니다.
  • XAI 분류: 본 연구는 블랙박스 모델에서 설명 가능한 정보를 추출하는 **해석 알고리즘 (Interpretability Algorithms)**에 초점을 맞추었습니다 (사용자 친화적 포맷으로 변환하는 'Surfacing' 방법은 제외).

• 매핑 프로세스:

  1. XAI 속성 도출: 기존 문헌 [8] 을 기반으로 XAI 의 주요 속성을 신뢰성 (Faithfulness), 강건성 (Robustness), **복잡성 (Complexity)**의 3 가지 범주로 분류하고 하위 속성 (예: 필요성, 충분성, 안정성, 희소성 등) 으로 세분화했습니다.
  2. 법적 요구사항 분석: AI Act 의 관련 조항 (Art. 11, Annex IV, Art. 13-14, Art. 86 등) 을 분석하여 설명 의무를 식별하고, 이를 XAI 속성 제약 조건 (필수, 권장, 부분적 요구 등) 으로 변환했습니다.
  3. 점수 부여 (Scoring):
     • 30 개 이상의 최신 문헌 조사를 통해 널리 사용되는 모델 무관 (Model-agnostic) XAI 알고리즘 (LIME, SHAP, Decision Trees, RuleFit, Anchors, CEM, DiCE 등) 을 선정했습니다.
     • 각 알고리즘이 가진 속성 (신뢰성, 강건성, 복잡성) 을 1~5 리커트 척도 (1=전혀 없음, 5=완전함) 로 정성적으로 평가했습니다. (초기 평가는 ChatGPT 4o 를 활용했으나, 최종 점수는 저자들의 문헌 검토를 통해 수정 및 확정했습니다.)

• 준수 점수 산출 (Compliance Score):

  • 수식: 법적 요구사항 ($R_r$) 에 따라 각 속성의 중요도 가중치 ($\lambda_s$) 를 부여하고, 알고리즘의 속성 점수 ($Score(a, s)$) 를 정규화하여 합산하는 수식을 적용했습니다.
  • 가중치: 필수 요구사항 ($\lambda=1$), 권장 사항 ($\lambda=0.75$), 부분적 요구 ($\lambda=0.5$) 로 구분하여 법적 중요도를 반영했습니다.
  • 범위 및 단계 필터링: 알고리즘의 적용 범위 (국소/전역) 와 시기 (사전/사후) 가 법적 조항과 일치하는지 여부를 확인하여 점수에 반영했습니다.

3. 주요 기여 (Key Contributions)

1. 체계적인 매핑 프레임워크: EU AI Act 의 법적 설명 요구사항을 구체적인 XAI 기술적 속성 (신뢰성, 강건성, 복잡성) 으로 매핑한 최초의 체계적인 프레임워크를 제시했습니다.
2. 규제 특화 준수 점수 (Regulation-specific Compliance Score): 정성적 평가를 정량적 점수로 변환하여, 특정 법적 조항에 대한 XAI 알고리즘의 준수 잠재력을 0~1 사이의 점수로 비교할 수 있는 지표를 개발했습니다.
3. 실무자 가이드라인: 기업과 실무자가 법적 요구사항을 충족할 수 있는 최적의 XAI 기법을 선택하고, 추가 연구가 필요한 기술적 한계를 식별할 수 있는 실질적인 도구를 제공했습니다.

4. 주요 결과 (Results)

• 알고리즘별 특성 분석:

  • SHAP: '신뢰성 (Faithfulness)'과 '강건성 (Robustness)' 측면에서 가장 높은 점수를 기록했습니다. 특히 '거짓 양성/음성 없음' 속성에서 5 점 만점을 받았습니다.
  • Decision Trees, Anchors, RuleSHAP: '복잡성 (Complexity)'과 '희소성 (Sparsity)' 측면에서 우수하여, 인간이 읽기 쉬운 규칙 기반 설명이 필요한 경우 적합합니다.
  • LIME: 신뢰성과 강건성 측면에서 상대적으로 낮은 점수를 받아 법적 요구사항 충족에 한계가 있음을 보였습니다.
  • Counterfactual Methods (CEM, DiCE): 높은 신뢰성과 강건성을 보이지만, 계산적 불안정성 (Stability) 이 낮아 일부 상황에서 제한적입니다.

• 법적 조항별 최적 알고리즘:

  • Art. 86 (개별적, 사후 설명): SHAP, RuleSHAP, CEM 이 높은 신뢰성으로 적합합니다.
  • Art. 13-14 (혼합적, 지속적 정보 제공): SHAP 과 RuleSHAP 이 신뢰성에서 우세하며, PDP 는 전역적 추세를 문서화하는 데 유용합니다.
  • Art. 11 & Annex IV (전역적, 사전 문서화): Decision Trees 와 RuleSHAP 이 복잡성 (간결성) 측면에서 높은 점수를 받아 문서화 요구사항에 적합합니다.

• 민감도 분석: 법적 강도 계수 ($\lambda$) 에 대한 민감도 분석을 수행한 결과, 점수 순위는 법적 가중치의 작은 변동 (±20%) 에도 불구하고 SHAP, RuleSHAP, CEM 등이 일관되게 최상위권을 유지하여 프레임워크의 견고성 (Robustness) 을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 기술 - 법률 간극 해소: 이 연구는 기술적 XAI 방법론과 법적 규제 요구사항 사이의 간극을 메우는 가교 역할을 합니다.
• 실용적 도구: 단순한 이론적 논의를 넘어, 실무자가 특정 AI 시스템의 위험 등급과 적용 시나리오에 맞춰 가장 적합한 XAI 기법을 선택할 수 있는 정량적 의사결정 지원 도구를 제공합니다.
• 확장성: 프레임워크는 모듈러 구조로 설계되어, 새로운 법적 조항이나 XAI 알고리즘이 등장할 때 쉽게 업데이트 및 적용이 가능합니다.
• 향후 과제: 제안된 준수 점수 프레임워크를 실제 고위험 AI 시스템 배포 사례에 적용하여, 법적/기술적 전문가들이 점수의 유효성을 검증하는 후속 연구가 필요합니다.

이 논문은 AI 규제 준수 과정에서 XAI 기술의 선택이 단순한 기술적 선호가 아닌, 법적 요구사항에 기반한 체계적인 의사결정이어야 함을 강조합니다.