Fix the Mind, Not the Move: Interpretable AI Assistance via Knowledge-Gap Localization

기술 요약: 움직임이 아닌 마음을 고쳐라: 지식 격차 국지화를 통한 해석 가능한 AI 보조

문제 정의
인간-AI 협업에서의 현재 AI 어시스턴트는 실시간으로 최적화되지 않은 인간의 행동을 수정하기 위해 행동 피드백(예: 조향, 경고 또는 오버라이드)에 의존하는 경우가 많습니다. 이러한 "움직임 수정(move-fixing)" 개입은 즉각적인 오류 완화에는 효과적이지만, 반복되는 체계적 오류를 유발하는 근본적인 오개념을 해결하지는 못합니다. 본 논문은 장기적 의사결정 과업에서 견고한 숙달을 위해서는 단순히 즉각적인 궤적을 수정하는 것이 아니라, 인간의 내부 작업 지식을 교정해야 한다고 주장합니다. 핵심 과제는 관찰된 행동 궤적으로부터 인간의 구체적인 지식 격차(오개념)를 추론하고, 새로운 작업 인스턴스에서도 인간의 미래 행동을 전문가와 일치시킬 수 있는 표적화되고 해석 가능한 가이드를 제공하는 것입니다.

방법론: SENSEI
저자들은 구조화된 지식 표현(구체적으로 PDDL, Planning Domain Definition Language) 상에서 작동하여 지식 격차를 국지화하고 교정하는 프레임워크인 SENSEI(Structured Extraction and Neural Synthesis of Errors for Intervention)를 제안합니다. 이 시스템은 2단계 추론 파이프라인을 따릅니다:

1. 지식 격차 국지화(Knowledge Gap Localization): 전문가 지식($K_E$), 전문가 행동($\tau_E$), 그리고 학생 행동($\tau_S$)이 주어졌을 때, 국지화 네트워크($f_{loc}$)는 학생과 전문가 사이에서 정렬되지 않은 구체적인 기호적 지식 구성 요소(예: 객체 유형, 행동 전제 조건 또는 효과)를 예측합니다. 여러 개의 중첩된 오개념을 처리하기 위해, 저자들은 단일 오개념 행동 간을 보간하여 생성된 합성 임베딩을 사용하여 학습하는 **Mixup 일반화 손실(Mixup Generalization Loss)**을 채택했습니다. 이를 통해 단일 오개념 데이터로만 학습했음에도 불구하고 다중 오개념 시나리오에 대한 제로샷 구성적 일반화(zero-shot compositional generalization)가 가능해집니다.
2. 잠재 지식 편집 및 디코딩(Latent Knowledge Editing and Decoding): 격차가 국지화되면, 잠재 지식 편집기($f_{edit}$)는 전문가의 지식 구성 요소 임베딩을 학생의 변형으로 변환하기 위한 잠재적 편집 벡터를 예측합니다. CodeT5+ 아키텍처를 기반으로 하는 학생 지식 디코더($f_{dec}$)는 이 편집된 임베딩을 자연어 또는 원시 PDDL 텍스트로 번역하여 학생의 구체적인 오개념을 설명합니다.

이 프레임워크는 세 가지 목적 함수를 최소화하도록 학습됩니다: 정확한 격차 국지화, 실제 격차의 정확한 교정, 그리고 (오류를 환각하지 않기 위해) 비격차 구성 요소에 대한 최소한의/무편집 유지.

주요 기여

• 지식 인식 보조의 공식화: 본 논문은 AI 보조를 단순한 궤적 정렬이 아닌, 미래의 후회를 최소화하기 위해 학생의 지식($K_S$)을 전문가의 지식($K_E$)과 일치시키는 지식 교정 문제로 공식화합니다.
• 구조화된 진단 후 편집(Diagnose-then-Edit) 프레임워크: SENSEI는 "어디를 편집할 것인가"(국지화)와 "어떻게 편집할 것인가"(합성)를 분리합니다. 이러한 구조적 제약은 교정이 최소한의 수준에서 이루어지고, 해석 가능하며, 특정 기호적 지식 구성 요소에 근거하도록 보장하여 불필요한 업데이트를 줄입니다.
• 제로샷 구성적 일반화: 본 시스템은 단일 오개념을 포함하는 데이터로만 학습되었음에도 불구하고, 중첩된 다수의 오개념을 제로샷 방식으로 분리하고 교정하는 능력을 입증했습니다.
• 실증적 검증: 저자들은 세 가지 복잡한 플래닝 도메인(Breakfast, Overcooked, Rover)과 20명의 참가자를 대상으로 한 사용자 연구를 통해 접근 방식을 검증했습니다.

결과

• 시뮬레이션 실험: 세 가지 도메인 전반에서 SENSEI는 실제 격차를 교정하는 것과 잘못된 교정을 피하는 것 사이에서 최적의 균형을 달了했습니다. 예를 들어, Overcooked 도메인에서 SENSEI는 System F1 점수 0.726을 달성하여, 단일 엔드투엔드 모델(0.028) 및 기성 LLM(0.005–0.076)을 크게 상회했습니다. 국지화 모듈은 높은 정밀도를 유지하면서 올바른 구성 요소를 성공적으로 식별했습니다(Overcooked에서 LocRecall $\approx$ 0.83).
• 절제 연구(Ablation Studies): Mixup 손실을 제거하면 시스템 재현율(recall)이 급격히 하락했습니다(예: Breakfast에서 0.762에서 0.221로). 이는 다중 오개념 사례로 일반화하는 데 있어 Mixup의 필요성을 확인시켜 줍니다. 학습 중 전문가 참조를 제거하면 정밀도는 높아졌으나 재현율은 낮아졌으며, 이는 전문가 앵커가 편차에 대한 민감도에 결정적임을 시사합니다.
• 사용자 연구: 수정된 Overcooked 과업에서 SENSEI는 지시 사항이 유보됨으로써 유도된 실제 인간의 오개념을 성공적으로 식별하고 교정했습니다. 시스템은 0.895의 System Recall을 달성했으며, 사용자와 전문가 행동 간의 정렬도(IoU)를 0.736에서 0.844로 개선했습니다. 사용자는 일부 도움이 되지 않는 팁(거짓 양성)을 받기도 했지만, 시스템의 전반적인 유용성을 높게 평가(4.27/5)하여 지식 인식 가이드가 간혹 오류가 있더라도 가치가 있음을 보여주었습니다.

의의 및 주장
본 논문은 SENSEI가 "움직임을 고치는 것"(공유 자율성)에서 "마음을 고치는 것"(지식 교정)으로의 전환을 나타낸다고 주장합니다. 기호적 지식 격차를 국지화하고 최소한의 해석 가능한 교정을 합성함으로써, 이 프레임워크는 장기 학습과 일반화를 지원하는 AI 보조의 토대를 제공합니다. 저자들은 자신들의 접근 방식이 불투명한 행동 조향을 넘어 투명하고 논리 기반의 진단으로 나아간다고 강조합니다.

그러나 논문은 범위와 한계에 대해 신중한 입장을 유지합니다. 전문가 참조 궤적과 사전 정의된 PDDL 도메인에 대한 의존성은 "최적성"에 대한 규범적 정의를 내포하며, 이는 개방형 환경에서 유효한 대안 전략을 처벌할 수 있음을 인정합니다. 또한, 진단 시스템은 잘못된 교정(오개념 환각)이 발생할 수 있으며, 이는 사용자 불만을 초래할 수 있다고 언급합니다. 따라서 저자들은 SENSEI를 자율적인 평가 도구가 아닌, 특히 진단 정확도가 중요한 고위험 환경에서 지원적인 도구로 위치시킵니다. 이 연구는 모든 인간 학습 문제를 해결한다고 주장하는 것이 아니라, 장기 의사결정에서 인간의 작업 지식을 전문가 모델과 정렬하기 위한 구조화된 방법을 제시하는 데 목적이 있습니다.