Evaluation Cards for XAI Metrics

기술 요약: XAI 지표 평가를 위한 평가 카드

문제 제기
설명 가능한 인공지능 (XAI) 평가 분야는 현재 파편화되어 있으며 표준화가 부재한 상태입니다. XAI 평가 지표를 체계화하려는 시도가 포함된 문헌이 증가하고 있음에도 불구하고, 세 가지 주요 문제가 지속되고 있습니다:

1. 용어의 불일치: 동일한 지표 이름이 서로 다른 운영적 정의에 사용되며, 연구 그룹 간에는 동일한 기본 속성이 서로 다르게 표기됩니다.
2. 맥락의 생략: 지표가 도입될 때 해당 지표가 목표로 하는 특정 속성, 근거 수준 (기능적, 인간, 또는 응용 기반), 또는 평가 맥락 (모델 아키텍처, 데이터 모달리티) 이 명시되지 않는 경우가 많습니다. 이로 인해 재현성이나 의미 있는 비교에 필요한 정보가 결여된 결과가 보고됩니다.
3. 검증 및 구현의 격차: 제안된 많은 지표는 수반되는 코드 없이 이론적 정의에 머무릅니다. 또한, 민감도나 안정성 분석과 같은 검증 증거는 드물게 제공되며, 지표를 '조작'할 위험 (목표 속성을 개선하지 않고도 높은 점수를 얻는 것) 은 거의 인정되지 않습니다.

이러한 문제들은 평가 관행이 기능적 기반의 대리 작업 (proxy tasks) 으로 치우치게 만들고, 인간 기반 및 응용 기반 방법론은 여전히 과소 대표되게 만듭니다. 구조화된 보고의 부재는 메타 분석을 방해하고 설명의 질에 대한 주장의 타당성을 흐리게 합니다.

방법론
본 논문은 2021 년부터 2025 년 사이에 발표된 XAI 평가 지표에 관한 11 편의 설문 조사를 분석하는 메타 리뷰 접근법을 사용합니다. 저자들은 이러한 설문 조사 전반에서 반복적으로 발견된 격차를 종합하여 해당 분야의 현재 상태를 규명합니다. 새로운 평가 지표나 새로운 분류 체계를 제안하는 대신, 저자들은 문서화 프레임워크를 제안합니다.

핵심 방법론은 모델 카드 (Model Cards) 와 데이터셋용 데이터시트 (Datasheets for Datasets) 와 유사한 구조화된 문서화 템플릿인 XAI 평가 카드를 설계하는 것입니다. 이 카드는 새로운 XAI 평가 지표를 도입하는 모든 연구를 동반하도록 설계되었으며, 현재 종종 생략되는 핵심 정보를 저자들이 명시적으로 선언하도록 강제합니다.

주요 기여
주요 기여는 XAI 평가 지표 보고를 표준화하도록 설계된 4 섹션 템플릿인 XAI 평가 카드입니다:

1. 식별 (Identity): 지표 이름, 모든 설명 가능성 속성을 운영화하는 목록 (정의에 대한 참조 포함), 그리고 근거 수준 (기능적 기반, 인간 기반, 또는 응용 기반) 의 선언을 요구합니다.
2. 범위 및 맥락 (Scope and Context): 평가 맥락 (모델 아키텍처, 데이터 모달리티, 로컬 대 글로벌 범위) 에 대한 설명과 모든 지표 가정 (예: 특징 독립성, 선형성, 기준선 가용성) 의 명시적 나열을 의무화합니다.
3. 구현 및 검증 (Implementation and Validation): 구현 가용성 (링크 포함) 을 명시하고, 검증 증거 (민감도, 안정성, 상관관계) 를 요약하며, 조작 위험을 설명하고, 알려진 실패 사례를 문서화하도록 저자에게 요구합니다.
4. 관계 및 한계 (Relationships and Limitations): 동일한 속성을 목표로 하는 다른 지표와의 관계를 나열하고, 동의 또는 이의를 기록하며, 충돌 시 특정 배포 시나리오에 대한 속성 우선순위를 설정하고, 지표를 사용해서는 안 되는 한계와 맥락을 명시적으로 진술하도록 요구합니다.

본 논문은 또한 주요 행사에서 기존 재현성 체크리스트와의 통합, 경량 템플릿 (Markdown, LaTeX, JSON) 의 사용, 그리고 작성 비용 절감을 위한 LLM 지원 초안 작성 등 채택 전략을 제시합니다.

결과
제안 논문으로서 본 작업은 새로운 지표에 대한 실험적 결과나 경험적 검증을 제시하지 않습니다. 대신, '결과'는 평가 카드가 해결하도록 설계된 문헌 내의 구체적이고 반복적인 실패 모드를 식별하는 것입니다:

• 속성과 지표의 혼동.
• 맥락 없이 지표 점수만 고립되어 보고됨.
• 원래 제안에서 민감도 및 안정성 분석의 부재.
• 구현 가용성 보고의 불일치.
• 지표 간 이의나 조작 위험을 인정하지 못함.

본 논문은 이 템플릿이 식별된 다섯 가지 문제에 대한 해결책을 직접적으로 운영화한다고 주장합니다.

의의 및 주장
본 논문은 XAI 평가 카드가 평가 보고의 투명성 부재라는 중심적이면서도 충분히 다루어지지 않은 문제를 해결한다고 주장합니다. 이 템플릿을 커뮤니티 규범으로 채택함으로써 해당 분야는 다음과 같은 성과를 달성할 수 있다고 저자들은 주장합니다:

• 파편화 감소: 지표를 비교 가능하게 만들기 위해 문서화 표준화.
• 책임성 강화: 평가 주장의 가정, 한계, 유효성 조건을 명시화.
• 향상된 메타 분석: 연구 간 평가 결과의 집계 및 비교를 가능하게 하는 구조화된 기계 가독성 기록 생성.
• 맥락적 유효성: 지표 값이 해석에 필요한 맥락과 항상 동반되어 고립적으로 보고되지 않도록 보장.

저자들은 이 카드가 처방적이지 않음을 강조합니다. 즉, 특정 지표나 근거 수준을 강제하는 것이 아니라 저자들이 내린 선택이 무엇이든 명시적으로 선언하도록 요구합니다. 궁극적인 목표는 단일 평가 패러다임을 부과하지 않으면서 평가 규범을 더 엄격하고 재현 가능한 방향으로 전환하는 것입니다.