Two Black Boxes, One Solver: Encoder Probing and Decoder Attribution for Neural Multi-Attribute VRP under Hard-Mask and Recourse Decoders

기술 요약: 두 개의 블랙박스, 하나의 솔버

문제 배경
다중 속성 차량 경로 문제(MAVRP)를 위한 신경망 자기회귀 솔버는 강력한 휴리스틱 및 기타 학습 기반 베이스라인에 대해 경쟁력 있는 비용을 달로 성과를 거두어 왔다. 그러나 이러한 모델들은 "블랙박스"로 작동하며, 결정 과정에 대한 단계별 근거를 제공하지 못한다. 물류 운영에서 디스패처(dispatchers)는 단순히 경로만을 필요로 하는 것이 아니라, 비즈니스 규칙에 따라 결정을 검증하고, 이상 징hm을 진단하며, 후보 솔버 제품군을 비교할 수 있는 근거를 필요로 한다. 현재의 불투명성은 정책이 어떤 입력이 중요했는지, 어떤 제약 조건이 지배적이었는지, 또는 결정을 바꾸기 위한 최소한의 변화가 무엇인지 노출하지 않은 채 행동을 출력하기 때문에 발생한다. 본 논문은 인코더(표현)와 디코더(결정) 단계 모두에 대한 통합적인 설명 가능한 AI(XAI) 관점이 이러한 운영상의 책임을 해결하기 위해 필수적이라고 주장한다.

방법론
저자들은 두 개의 상호 보완적인 블랙박스인 인코더와 디코더를 "개방"하기 위한 통합 프로토콜을 제안한다. 본 연구는 세 가지 인코더 제품군(ATT 베이스라인, UNIMP 그래프 인코더, Mixture-of-Experts를 사용한 UNIMPMOE)과 두 가지 디코더 변형(HARD-MASK, RECOURSE)을 조합하여 형성된 6가지 솔버 변형을 평가한다.

1. 인코더 프로빙 (Pillar 1):
   프로토콜은 그래프, 노드, 에지 수준에서 고정된 잠재 표현($h$)을 네 가지 지표를 사용하여 분석한다:

• 예측 가능성(Predictability): 선형 프로브를 통해 활성 제약 조건 제품군을 $h$로부터 복구할 수 있는지 판단한다. 비지도 판독(axis-unique 대 top-$k$ subspace)을 통해 축 정렬(axis-aligned) 방식과 분산 코딩(distributed coding) 방식을 구분한다.
• 자발적 조직화(Spontaneous Organization): 클러스터링 지표(NMI, silhouette)를 사용하여 $h$가 감독 없이도 제약 조건 제품군에 따라 자연스럽게 파티션을 나누는지 평가한다.
• 풍부함(Richness): 유효 및 안정적 랭크(effective and stable ranks)를 측정하여 표현의 차원을 측정하고 붕괴(collapse)를 감지한다.
• 발견된 방향(Discovered Directions): PCA/ICA 축을 제약 조건 지표와 정렬하고, 개입(잠재 공간을 섭동시켜 개념이 예측대로 이동하는지 확인)을 통해 인과적으로 검증한다.

2. 디코더 귀속 (Pillar 2):
   세 가지 귀속 방법(Gradient, Integrated Gradients, DeepLIFT)이 세 가지 읽기 관점에서 디코딩 단계에 적용된다:

• 가추적(Abductive): 귀속 질량(attribution mass)을 집계하여 "왜 이 행동인가?"를 식별한다.
• 대조적(Contrastive): 선택된 행동과 가장 적합한 실행 가능한 대안 사이의 마진을 귀속시켜, 무엇이 해당 결정을 가장 가까운 경쟁자와 구분 짓는지 식별한다.
• 역사실적(Counterfactual): 선택된 행동을 뒤집거나, 실행 불가능한 대안을 실행 가능하게 만드는("make-feasible") 최소한의 입력 섭동을 찾는 유향 탐색을 수행한다.

3. 평가 그리드:
   모든 출력은 다섯 가지 기준, 즉 충실도(Attributed 입력을 제거했을 때 결정이 바뀌는가?), 집중도(설명이 집중되어 있는가?), 안정성(독립적으로 시드된 모델들이 일치하는가?), 정당성(가중치 무작위화 후에도 귀속이 유지되는가?), 실행 가능성(작은 변화가 다른 결정으로 이어질 수 있는가?)에 따라 점수가 매겨진다.

주요 기여

1. 두 기둥 프로토콜: 인코더의 예측 가능성/조직화를 프로빙하고 디코더의 결정을 가추적, 대조적, 역사실적 관점에서 귀속시키는 통합 XAI 프레임워크를 제공한다.
2. 제약 조건 제품군 분류 체계: 원시 입력 그래디언트를 운영상 읽기 쉬운 그룹(용량, 기하학, 시간 창, 경로-복구)으로 집계하는 방법을 제시한다.
3. 포괄적 벤치마킹: 본 프로토콜을 6가지 MAVRP 변형에 적용하여, "강한 마스크" 디코더(HARD-MASK, 구조에 의한 실행 가능성 보장)와 "약한 마스크" 디코더(RECOURSE, 학습에 의한 실행 가능성 학습)를 명시적으로 비교한다.
4. 숨겨진 현상 규명: 추론 비용만으로는 보이지 않는 현상들, 즉 MoE 인코더의 분산 코딩, 아키텍처 간의 정당성 격차, 디코더 정책 간의 표현 격차 등을 드러낸다.

결과

• 인코더 성능: 그래프 인코더(UNIMP, UNIMPMOE)는 예측 가능성(macro-F1)과 자발적 조직화(NMI) 측면에서 ATT 베이스라인을 크게 능가한다. UNIMPMOE는 분산 코딩(distributed coding) 특성을 보인다: 단일 축 프로브에서는 UNIMP보다 성능이 낮지만, top-$k$ subspace에서 평가할 때는 격차를 좁히는데, 이는 제약 조건이 단일 축이 아닌 서브스페이스 전체에 걸쳐 표현됨을 의미한다.
• 디코더 성능 및 비용: HARD-MASK 디코더는 RECOURSE(BKS 대비 2.73–2.91% 차이)보다 낮은 추론 비용(BKS 대비 1.39–1.82% 차이)을 달성한다. 그러나 RECOURSE가 더 우수한 해석력을 제공한다.
• 정당성 및 안정성: 그래프 인코더는 (학습된 가중치와 무작위화된 가중치 간의) 정당성 검사를 결정적으로 통과하는 반면, ATT는 아키텍처적 아티팩트를 보인다. RECOURSE 정책은 더 풍부한 설명을 생성하지만, 단일 지배적 제약 조건 제품군을 식별하는 데 있어 HARD-MASK보다 낮은 안정성을 보이는데, 이는 풍부함과 재현성 사이의 트레이드오프를 반영한다.
• 역사실적 결과 (핵사 핵심 발견): RECOURSE 디코더는 "실행 가능하게 만들기(make-feasible)" 역사실적 모델(실행 불가능한 대안을 실행 가능하게 만드는 작은 변화)을 생성할 수 있는 유일한 변형이다. HARD-MASK 정책은 외부에서 실행 불가능한 대안을 입력받더라도 이를 생성해내지 못한다. 이는 훈련 방식의 차이로 기인한다: RECOURSE는 실행 불가능한 후보에게도 의미 있는 로짓 질량을 할당하도록 학습되는 반면, 구조적으로 제약이 걸린 HARD-MASK 정책은 그렇지 않다.

의의 및 주장
본 논문은 디코더의 선택이 단순한 성능 트레이드오프가 아니라 해석 가능성의 선택이라고 주장한다. RECORE USE 훈련 방식은 단순히 부드러운 마스킹 때문이 아니라, 실행 불가능성을 유용하게 표현하는 정책을 생성함으로써 HARD-MASK 정책이 할 수 없는 실행 가능한 역사실적 모델을 노출한다. 또한, 본 연구는 그래프 유도 편향(graph inductive bias)이 표현의 예측 가능성과 디코더의 정당성을 모두 향상시킨다는 것을 입증한다. 저자들은 신경 조합 최적화 솔버가 운영적으로 생존하기 위해서는 표현과 결정 단계 모두에 대한 공동의 XAI 계정이 필요하다고 결론짓는다. 즉, 읽기 쉬운 인코더가 읽기 쉬운 디코더를 보장하는 것은 아니며, 그 반대도 마찬가지이기 때문이다. 이 프로토콜은 동일한 체크포인트 상에서 솔버 제품군을 비교하는 표준 그리드 역할을 하며, "최적의" 솔버는 원시 비용이 우선인지 혹은 결정의 검증 및 비교 능력이 우선인지에 따라 달라짐을 밝혀낸다.