기술 요약: GLARE – 전역적 설명을 질의하기 위한 자연어 인터페이스

1. 문제 정의

심층 비전 모델은 고위험 도메인에서 성공적이지만, 여로 내부가 불투명한 상태로 남아 있다. 설명 가능한 AI(XAI)는 국소적 설명(예: 단일 인스가에 대한 살리언시 맵)과 전역적 설명(예: 데이터셋 전체의 모델 동작을 요약하는 집계된 규칙 또는 프로토타입)을 제공하지만, 결정적인 사용성 격차가 존재한다. 현재의 전역적 설명은 수천 개의 논리적 규칙이나 프로토타입을 포함하는 단조롭고 정적인 산물이다. 이러한 "설명 덤프(explanation dump)"를 사용자에게 제시하는 것은 통찰력을 드러내기보다 인지 과부하를 유발한다.

사용자는 일반적으로 정적인 요약을 필요로 하는 것이 아니라, 특정 가설을 테스트하기 위해 반복적이고 질의 중심적인 과정을 거친다(예: "모델이 늑대를 분류할 때 배경의 눈에 의존하는가?"). 기존 도구들은 사용자가 이러한 질문에 답하기 위해 국소적 설명을 수동으로 필터링하고 집계하도록 강제하며, 이는 실질적인 전역적 통찰의 유용성을 제한하는 마찰을 생성한다. 따라서 사용자가 저수준의 표현에 노출되거나 프로그래밍 전문 지식을 요구하지 않고도 자연어를 통해 전역적 설명을 조사할 수 있는 인터페이스가 필요하다.

2. 방법론

저자들은 GLARE(Global Language-based Analysis and Retrieval of Explanations)를 제안한다. 이 시스템은 전역적 설명을 정적인 문서가 아닌, 질의 가능한 데이터베이스로 취급한다.

시스템 아키텍처

시스템은 파싱-검증-실행(parse-validate-execute) 파이프라인을 따른다:

1. 입력: 사용자는 집계된 모델 동작에 관한 자연어 질문을 던진다(예: "침실 이미지 중 침대와 벽이 모두 포함된 비율은 얼마인가?").
2. 의미론적 파싱 (LLM): 미세 조정된 대규모 언어 모델(LLM)이 의미론적 파서 역할을 수행한다. 이는 사용자의 자연어 질의를 구조화된 SQL 쿼리로 변환한다.
   • LLM은 빈도 계산, 불리언 조합, 공생(co-occurrence), 반사실적 분석 등의 작업을 다루는 사전 정의된 24개의 쿼리 템플릿 중에서 선택한다.
   • LLM은 템플릿을 인스턴스화하기 위해 매개변수(클래스 이름, 객체 이름, 임계값)를 추출한다.
3. 실행: 생성된 SQL은 안전성과 정확성을 검증받은 후, 전역적 설명 데이터를 담고 있는 관계형 데이터베이스에 대해 실행된다.
   • 데이터베이스는 **국소 최소 충분 설명(Local Minimal Sufficient Explanations, MSX)**을 전역적 논리 표준형(DNF) 구조로 집계하여 구축된다.
   • 실험에서는 특정 방법(Vasu et al. [20])으로 생성된 설명을 사용하지만, 인터페이스는 기호적 형태를 생성하는 모든 개념 기반 국소 설명 방법과 작동하도록 설계되었다.
4. 출력: 시스템은 다음을 반환한다:
   • 관련 통계가 보강된 자연어 요약.
   • 뒷받침하는 국소 설명(증거 이미지).
   • 질의 의도에 부합하는 시각화(예: 관련 객체를 강조하는 세그멘테이션 맵).

학습 전략

LLM이 특정 데이터셋의 엔티티를 암기하는 것이 아니라 설명 질의의 구조를 학습하도록 하기 위해, 저자들은 특화된 미세 조정 접근 방식을 채택한다:

• 합성 데이터: ADE20K 어휘에서 무작위로 샘플링된 객체와 장면 클래스의 조합을 적용하고 자연어 변이(동의어, 구문 템플릿)를 적용하여 50,000개의 학습 쌍을 생성한다.
• SQL-Fence 손실 마스킹: 미세 조정(Gemma 2 및 Qwen 2.5 모델에 대한 LoRA 사용) 동안, 학습 손실은 SQL_START와 SQL_END 마커 사이의 토큰에만 집중되도록 마스킹된다. 이는 모델이 쿼리 언어의 관계 대수를 학습하도록 강제하여, 새로운 데이터셋의 서로 다른 어휘에 대한 **제로샷 전이(zero-shot transfer)**를 가능하게 한다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 명시한다:

1. 전역적 설명을 위한 자연어 인터페이스: 전역적 설명을 질의 가능한 데이터베이스로 변환하여, 사용자가 자연어를 통해 모델 동작을 조사할 수 있게 하는 GLARE를 도입한다.
2. SQL 기반 중간 표현: 국소 설명을 집계, 필터링 및 대조하기 위한 구조화된 SQL 스키마를 정의함으로써, 자연어 의도와 형식적 논리 집계 사이의 간극을 메운다.
3. 합성 데이터 미세 조정을 통한 견고한 쿼리 해석: SQL-fence 손실 마스킹을 통한 합성 데이터 미세 조정이 견고한 쿼리 해석을 제공함을 입증한다. 이 방식은 모델이 데이터셋별 엔티티 매핑이 아닌 일반화된 추론 패턴을 학습하게 함으로써, 새로운 데이터셋(예: ADE20K에서 Pascal VOC로)에 대한 제로샷 교차 데이터셋 전이를 가능하게 한다.

4. 실험 결과

시스템은 ADE20K 장면 분할 데이터셋에서 유도된 전역적 설명으로 평가되었으며, Pascal VOC에 대한 교차 데이터셋 평가도 수행되었다.

분포 내 정확도 (In-Distribution Accuracy)

• 성능: 미세 조정된 모델(특히 Gemma 2 9B 및 27B)은 학습 데이터셋에 대한 홀드아웃 쿼리에서 95% 이상의 결과 일치 정확도를 달랐다.
• 구조적 무결성: 이 모델들은 펜스 탐지, SQL 파싱 및 실행률에서 완벽에 가까운 점수(많은 경우 100%)를 기록했다.
• 베이스라인 비교: 기본(학습되지 않은) 모델은 거의 0%에 가까운 정확도를 보여, 성능이 기존의 SQL 지식이 아닌 특정 미세 조정 파이프라인의 산물임을 확인시켜 주었다. 비학습 Regex 베이스라인은 74.4%의 정확도를 기록하여 미세 조정된 모델보다 현저히 낮았다.

섭동에 대한 견고성 (Robustness to Perturbations)

시스템은 언어적 노이즈에 대해 강력한 탄력성을 보여주었다:

• 철자 오류: 미세 조정된 모델은 Regex 베이스라인의 48.7%와 비교하여 **79.6%**의 일치율을 유지하며, 31 퍼센트 포인트의 우위를 보였다.
• 동의어 치환: 모델은 동의어에 대해 100%의 견고성을 보였으며, Regex 베이스라인보다 17 퍼센트 포인트 높은 성능을 나타냈다.
• 일관성: 의미론적으로 동일한 패러프레이징은 **94.1%**의 경우 동일한 SQL 결과를 생성했다.
• 타당성: 모든 출력은 도메인 제약 조건(예: 음수 개수나 [0, 100] 범위를 벗어나는 백분율 없음)을 충족했다.

일반화 및 전이

• 분포 외(OOD) 구문: 모델은 학습된 템플릿의 새로운 구문을 잘 처리했으나(45.1% 정확 일치), 복잡한 이중 부정이나 매우 비격식적인 질의에는 어려움을 겪었다.
• 새로운 SQL 구조: 모델은 익숙한 SQL 조각들을 새로운 구조로 조립하는 **구성적 일반화(compositional generalization)**를 보여주었으나(예: chained_filter에서 100% 일치), 완전히 본 적 없는 구문(예: window_function에서 0% 일치)에는 실패했다.
• 교차 데이터셋 전이: ADE20K 메타데이터로만 학습된 모델은 완전히 이질적인 객체 어휘를 가진 Pascal VOC 데이터베이스를 테스트했을 때 약 90%의 정확도를 달랐다. 이는 모델이 특정 엔티티 이름이 아닌 스키마의 관계적 구조를 학습했음을 확인해 준다.

모델 규모 분석

• 용량 임계치: 최소한의 모델 용량이 필요하다. Qwen 2.5 0.5B는 미세 조정 후에도 과업을 학습하는 데 실패했으나, 7B 이상의 모델은 견고하게 작동했다.
• 포화 상태: Gemma 2 제품군 내에서 성능은 2B, 9B, 27B 파라미터 사이에서 분포 내 과업에 대해 포화되었으며, 이는 합성 파이프라인이 충분히 큰 소규모 모델에서도 효과적임을 시사한다.

5. 의의 및 주장

본 논문은 GLARE가 인간 중심의 XAI를 향한 실질적이고 신뢰할 수 있는 경로를 제공한다고 주장한다. 정적인 산물을 수동적으로 검사하는 것에서 능동적이고 질의 중심적인 대화로 전환함으로써, 이 시스템은 전역적 설명을 비전문가도 접근 가능하게 만든다.

저자들은 다음과 같은 점을 강조한다:

• 형식적 정확성에 기반한 유연성: LLM을 검증 가능한 SQL 템플릿으로 매핑되는 논리 제약 파서로 사용함으로써, 직접적인 LLM 기반 설명 생성에서 흔히 발생하는 환각 문제를 피한다.
• 제로샷 전이 가능: "SQL-fence" 학습 전략을 통해, 새로운 엔티티 이름 목록이 제공된다면 재학습 없이도 새로운 도메인과 어휘로 일반화할 수 있다.
• 인지 부하 감소: 사용자가 수천 개의 논리적 규칙의 근저에 있는 복잡성을 이해할 필요 없이 목표한 질문을 던질 수 있게 한다.

논문은 현재의 템플릿 분류 체계가 확장 가능하지만 완전하지는 않지만, 데이터셋 간 전이 능력과 언어적 변이를 처리하는 능력이 입증된 바, LLM 매개 질의가 전역적 설명 분석을 확장하기 위한 유효한 해결책임을 결론짓는다.