🤖 AI

Integrating Counterfactual Simulations with Language Models for Explaining Multi-Agent Behaviour

이 논문은 대규모 언어 모델을 활용하여 환경 시뮬레이터에 반사실적 프롬프트를 던져 질문함으로써, 기존 베이스라인보다 인지된 정확도와 목표 예측 정확도를 크게 향상시키는 다중 에이전트 시스템을 위한 인간 중심적 설명을 생성하는 프레임워크인 AXIS를 소개한다.

원저자: Bálint Gyevnár, Christopher G. Lucas, Stefano V. Albrecht, Shay B. Cohen

게시일 2026-06-30

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Bálint Gyevnár, Christopher G. Lucas, Stefano V. Albrecht, Shay B. Cohen

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

다섯 명의 무용수(에이전트)가 무대 위를 움직이는 복잡한 무용 공연을 보고 있다고 상상해 보십시오. 갑자기 한 무용수가 이상한 동작을 합니다. 당신은 "왜 저런 행동을 했을까?"라고 묻습니다.

자율 주행 자동차와 같은 자율 시스템의 세계에서, 이 질문에 대한 좋은 답을 얻는 것은 어렵습니다. "춤"은 혼란스러운 환경 속에서 일어나며, 무용수들은 서로에게 반응하며 얽히고설키기 어려운 방식으로 움직입니다.

이 논문은 이러한 움직임을 설명하기 위해 AXIS(Agentic eXplanations via Interrogative Simulation)라고 불리는 새로운 방법을 소개합니다. AXIS를 정적인 보고서가 아니라, 타임머신과 마법의 대본 작가를 가진 탐정이라고 생각하십시오.

작동 방식은 다음과 같습니다.

1. 탐정 (거대 언어 모델)

"탐정"은 똑똑한 AI(거대 언어 모델 또는 LLM)입니다. 탐정의 임무는 당신과 대화하며 행동 뒤에 숨겨진 이야기를 파악하는 것입니다. 하지만 탐정은 단순히 추측만 하지 않습니다. 특별한 도구를 가지고 있습니다.

2. 타임머신 (시뮬레이터)

탐정은 세상의 완벽한 시뮬레이션에 접근할 수 있습니다. 이것은 마치 그 행동이 일어났던 정확한 순간을 다시 재생할 수 있는 비디오 게임과 같습니다.

3. 심문 ( "만약 ~라면?" 이라고 묻기)

탐정은 단순히 영상을 보고 추측하는 대신, "심문 프롬프트"를 사용하여 타임머신에 구체적인 질문을 던지기 시작합니다. 이는 과학자가 실험을 수행하는 것과 같습니다:

"제거": "만약 저 다른 차를 장면에서 아예 지워버린다면 어떨까? 그렇다면 우리 운전자는 여전히 차선을 변경했을까?"
"만약 ~라면": "만 if 저 다른 차가 회전하는 대신 직진했다면 어떨까? 그렇다면 우리 운전자는 기다렸을까?"

4. 종합 (퍼즐 맞추기)

타임머신은 이러한 시나리오를 실행하고 탐정에게 새로운 데이터를 제공합니다. 그러면 탐정은 그 차이점을 살펴봅니다:

시나리오 A (실제 상황): 차 1이 회전한다, 차 0이 급하게 방향을 바꾼다.
시나리오 B (타임머신): 차 1이 직진한다, 차 0은 방향을 바꾸지 않는다.

탐정은 깨닫습니다: "아하! 차 0이 방향을 바꾼 이유는 차 1이 회전했기 때문이구나. 만약 차 1이 회전하지 않았다면 아무 일도 일어나지 않았을 거야."

탐정은 단순히 가공되지 않은 데이터를 나열하는 것이 아니라, 이러한 "만약 ~라면" 실험을 바탕으로 인간이 이해하기 쉬운 설명을 작성합니다.

왜 이 방식이 더 나은가요?

이 논문은 AXIS를 두 가지 다른 방식과 비교합니다:

"모델 전용" 방식: 이는 탐정에게 영상을 한 번 보여주고 아무런 테스트 없이 이유를 추측하게 하는 것과 같습니다. 논문에 따르면 이 방식은 종종 일반적이거나, 틀리거나, 피상적인 답변(예: "공간이 있어서 움직였다"라고 하며 실제 이유는 놓치는 경우)을 내놓습니다.
"설명 없음" 방식: 사용자에게 스스로 파악할 수 있도록 가공되지 않은 데이터만 제공하는 방식입니다.

결과:
연구진이 자율 주행 자동차 시나리오(고속도로 합류 또는 라운드어바웃 통과 등)에서 테스트했을 때, AXIS는 훨씬 더 우수한 성능을 보였습니다:

더 높은 정확도: AXIS의 설명은 기준 모델보다 더 정확하다는 평가를 받았습니다(약 7.7%에서 17% 더 높음).
더 나은 예측력: 사람들이 AXIS의 설명을 읽었을 때, 자동차가 다음에 무엇을 할지 또는 어디로 가려고 하는지를 맞히는 능력이 훨씬 향상되었습니다(일부 모델의 경우 최대 23% 더 정확함).
인과관계에 집중: "탐정"은 단순한 사실을 나열하는 대신, 진정한 원인을 찾기 위해 적절한 "만약 ~라면" 질문을 던지는 법을 배웠습니다.

한계점 (Catch)

논문은 시스템이 어려움을 겪는 부분에 대해서도 솔직하게 밝히고 있습니다:

비이성적 행위자: 시뮬레이션 속의 "무용수"가 완전히 이상한 행동을 하거나 도로 규칙을 어기는 경우, 탐정은 모두가 논리적으로 행동한다고 가정하기 때문에 때때로 혼란을 겪습니다.
숨겨진 행위자: 자동차가 건물 뒤에 가려져 있는 경우(폐쇄), 탐정은 시뮬레이션에서 그 숨겨진 차를 볼 수 없기 때문에 그 차가 행동의 진짜 원인이라는 점을 놓치기도 합니다.
판사: 설명이 얼마나 좋은지 테스트하기 위해 연구진은 (인간 연구 비용이 많이 들기 때문에) 또 다른 AI를 사용하여 채점했습니다. 이 방법이 효과적이긴 했지만, 논문은 AI 판사가 짧은 답변을 선호하거나 너무 세세한 내용에 혼란을 느끼는 등의 편향을 가질 수 있다고 언급했습니다.

핵심 요약

AXIS는 대안적인 현실을 시뮬레이션함으로써 AI가 자신의 결정을 설명하도록 돕는 시스템입니다. 단순히 "나는 X를 했다"라고 말하는 대신, "내가 X를 하지 않았다면 어떻게 되었을까?"라고 묻고, 그 답을 사용하여 인간 사용자에게 명확한 인과관계를 담은 이야기를 전달합니다. 이 시스템은 에이전트들이 논리적으로 행동하고 환경이 잘 보이는 상황에서 가장 잘 작동합니다.

기술 요약: 다중 에이전트 행동 설명을 위한 언어 모델과 역사실적 시뮬레이션의 통합

문제 정의
자율 주행 자동차나 트레이딩 알고리즘과 같은 자율 다중 에이전트 시스템(MAS)은 미스코디네이션(miscoordination) 및 목표 불일치와 같은 위험으로 인해 상당한 신뢰성 문제에 직면해 있습니다. 설명 가능한 AI(XAI)가 신뢰도 보정에 필수적임에도 불구하고, 기존의 설명 가능한 순차적 의사결정(SDM) 방법론은 세 가지 주요 장애물에 직면해 있습니다: (1) 환경의 복잡성(고차원 공간, 부분 관측 가능성, 비정상성 동역학), (2) 인간 요인(설명이 다양한 인지 과정 및 선호도와 일치해야 함), (3) 표준화된 평가 지표의 부재입니다. 기존 접근 방식은 주로 저수준의 기계적 설명(예: 살리언시 맵)에 집중하며, 행동, 신념, 결과 사이의 인과 관계를 통해 에이전트의 행동을 기술하는 고수준의 "행동 설명"에는 미치지 못합니다.

방법론: AXIS
저자들은 대규모 언어 모델(LLM)과 환경 시뮬레이터를 결합하여 인간 중심의 행동 설명을 생성하는 프레임워크인 **AXIS(Agentic eXplanations via Interrogative Simulation)**를 제안합니다. AXIS는 어떤 원인이 서로 유사하지만 다른 배경 조건 하에서 특정 사건과 함께 발생하는 경우 해당 원인을 설명 대상으로 선택한다는 **역사실적 효과 크기 모델(Counterfactual Effect Size Model, CESM)**을 구현합니다.

AXIS 프레임워크는 다회차의 심문 및 합성(interrogation and synthesis) 과정을 통해 작동합니다:

맥락화(Contextualization): 시스템은 MAS의 현재 상태(부분 관측 가능한 확률적 게임, POSG로 모델링됨)를 추출하고, 관찰, 행동 및 정적 환경 요소를 텍스트로 언어화하여 LLM에 전달합니다.
심문(Interrogation): LLM은 시뮬레이터에 개입 프롬프트(예: remove, whatif, add, what)를 제안합니다. 이 프롬프트는 저수준의 시뮬레이터 상태와 LLM의 추론 능력 사이의 간극을 메우기 위해 **옵션(options, 고수위 행동 추상화)**을 기반으로 합니다.
시뮬레이션(Simulation): 시뮬레이터는 제안된 개입을 실행하여, 역사실적 궤적과 보상을 생성하기 위해 환경을 전방향 시뮬레이션합니다.
합성(Synthesis): 시뮬레이션 결과는 언어화되어 LLM에 다시 입력되며, LLM은 이 역사실적 정보를 종합하여 부분적인 설명을 생성합니다.
반복(Iteration): 이 루프는 최대 $N_{max}$ 회까지 반복되며, 이를 통해 LLM은 최종 설명을 생성하기 전 인과 관계에 대한 이해를 정교화할 수 있습니다.

주요 기여

정형화: 다중 에이전트 시스템(MAS)을 위한 행동 설명 문제를 부분 관측 가능한 확률적 게임의 맥락 내에서 정형화했습니다.
프레임워크: 역사실적 시뮬레이션과 LLM을 사용하여 행동 설명을 생성하는 새로운 방법인 AXIS를 도입했습니다.
평가 방법론: 다음을 결합한 설명 가능한 SDM을 위한 종합적인 평가 프레임워크를 구축했습니다:
- 질적 정확성 분석.
- 하이퍼파라미터 및 모델 변형에 대한 강건성 테스트.
- 주관적 선호도 지표(완전성, 만족도, 상세도, 신뢰도).
- 객관적 실행 가능성 지표(목표 및 다음 행동 예측 정확도).
- 평가 규모 확장을 위한 외부 LLM 판사(judge) 활용.
경험적 검증: 10가지 시나리오(합리적, 비합리적, 폐쇄 상황)와 5가지 서로 다른 LLM을 사용하여 자율 주행 모션 플래닝에 대한 실험을 수행했습니다.

결과
최대 5개의 에이전트가 포함된 자율 주행 시나리오에서 수행된 평가 결과는 다음과 같습니다:

인지된 정확성: AXIS는 시뮬레이션 없이 초기 맥락만 받는 "ModelOnly" 베이스라인과 비교했을 때, 테스트된 모든 모델에서 설명의 인지된 정확성을 최소 7.7% 향상시켰습니다.
목표 예측: AXIS는 테스트된 5개 모델 중 4개 모델에서 목표 예측 정확도를 23% 향提升시켰습니다.
행동 예측: 4개 모델에서 행동 예측 성능이 대등하거나 향상되었습니다.
심문의 유용성: 프롬프트 사용 분석 결과, 역사실적 추론을 용이하게 하는 remove 및 whatif 프롬프트를 활용한 모델들이 더 높은 정확도 점수를 기록했습니다. 이러한 프롬프트를 사용하지 못한 모델(예: DeepSeek-V3)은 낮은 성능을 보였습니다.
추론의 한계: 합리적인 시나리오에서는 효과적이었으나, AXIS는 비합리적 에이전트 행동과 폐쇄된 요인(occluded factors) 문제에서 어려움을 겪었습니다. LLM은 규칙을 준수하는 합리성을 가정하는 경향이 있었으며, 비합리적 행동을 강제하거나 폐쇄된 에이전트를 올바르게 추론하는 개입을 제안하는 데 실패했습니다. 이는 부분 관측 가능성에 대한 LLM 추론의 현재 한계를 보여줍니다.
모델 편차: 모든 지표에서 압도적인 단일 LLM은 없었습니다. 강력한 추론 모델(예: o4-mini, DeepSeek-R1)은 높은 인지 정확도를 제공했으나, 과도한 맥락이 평가자 LLM을 혼란스럽게 하여 때때로 실행 가능성 점수가 낮아지는 결과를 초레이기도 했습니다.

의의 및 주장
본 논문은 AXIS가 정적인 사후 특징 속성(post-hoc feature attribution)에서 동적이고 상호작적인 역사실적 추론으로 전환함으로써 설명 가능한 MAS의 중요한 진전이라고 주장합니다. 저자들은 심문-합성 과정이 가장 관련성 높은 인과 요인을 선택할 수 있게 하여, 목표 예측과 같은 다운스트림 작업에 더 정확하고 실행 가능한 설명을 제공한다고 주장합니다.

그러나 저자들은 다음과 같이 신중한 입장을 유지합니다:

LLM을 평가자로 사용하는 것이 특히 주관적 선호도 점수 산정 시 잠재적 편향을 초래할 수 있음을 인정하며, 향후 인간 대상 연구를 제안합니다.
본 방법론의 성공은 현재 기초가 되는 LLM의 능력, 특히 비합리성과 부분 관측 가능성을 추론하는 능력에 의해 제한된다는 점을 명시합니다.
분야 내 표준화된 베이스라인의 부재가 직접적인 비교를 어렵게 한다는 점을 언급하면서도, 개선 사항을 맥락화하기 위해 "ModelOnly" 베이스라인을 설정했습니다.
본 연구는 시뮬레이션과 언어 모델을 통합하는 개념 증명(proof-of-concept)으로 제시되었으며, 더 많은 에이전트 수와 이산적 도메인으로의 확장 가능성은 향후 연구 과제로 남아 있습니다.