🤖 AI

A Differentiable Atari VCS:A Complex, Fully Known Ground Truth for Explainable AI

이 논문은 딥 강화 학습 작업에 대한 설명 가능한 인공지능(XAI)을 위한 경사 기반 방법론의 적용을 가능하게 하는, 완전히 알려진 복잡한 그라운드 트루스를 제공하는 Julia 및 JAX 기반의 미분 가능하고 비트 단위로 정확한 Atari 2600 비디오 컴퓨터 시스템 에뮬레이션을 소개한다.

원저자: Andreas Maier, Siming Bayer, Patrick Krauss

게시일 2026-06-23

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Andreas Maier, Siming Bayer, Patrick Krauss

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

거대한 문제: 설명할 수 없는 것을 설명하기

당신이 마술의 원리를 설명하려고 한다고 상상해 보세요.

시나리오 A: 카드 바꾸기처럼 마술이 단순합니다. 어떻게 이루어지는지 눈에 보입니다. 설명하기는 쉽지만, 그리 대단한 것은 아닙니다.
시나리오 B: 수백만 개의 톱니바퀴가 맞물려 돌아가는 거대하고 검은 상자(black-box) 기계처럼 마술이 믿을 수 없을 정도로 복잡합니다. 기계가 결과를 만들어내는 것은 볼 수 있지만, 그 내부에서 무슨 일이 일어나고 있는지는 전혀 알 수 없습니다. 당신은 왜 그것이 작동했는지 '추측'할 수는 있지만, 그 추측이 맞는지 틀린지 증명할 방법은 없습니다.

이것이 현재 **설명 가능한 AI (XAI)**의 상태입니다. 우리는 완벽하게 설명할 수 있는 단순한 AI 모델도 가지고 있고, 게임을 플레이하는 것과 같이 내부 동작(ground truth, 실제 내부 작동 원리)을 알 수 없어 전혀 설명할 수 없는 복잡한 AI 모델도 가지고 있습니다.

해결책: "마법의" 비디오 게임 콘솔 만들기

저자들은 이를 해결하기 위해 새로운 종류의 테스트 대상(test object)을 만들기로 했습니다. 그들은 흥미로울 만큼 충분히 복잡하면서도(실제 컴퓨터처럼), 정답을 확인할 수 있도록 완전히 알려진 것을 원했습니다.

그들은 1980년대의 고전 비디오 게임 콘솔인 **아타리 2600(Atari 2600)**을 선택했습니다.

왜인가? 이것은 실제 프로세서, 메모리, 그래픽 칩을 갖춘 진짜 컴퓨터입니다. 도전 과제가 될 만큼 충분히 복잡하지만, 내부의 모든 전선과 스위치를 지도화(mapping)할 수 있을 만큼 작습니다.
반전: 그들은 단순히 게임을 복사한 것이 아니라, 현대적인 코드로 전체 컴퓨터 시스템을 처음부터 다시 구축했습니다. 하지만 여기에는 초능력이 하나 있습니다. 바로 **"미분 가능하다(differentiable)"**는 점입니다.

"미분 가능하다"는 것은 무엇을 의미하는가? ("부드러운" 스위치)

일반적인 컴퓨터에서 결정은 "딱딱합니다(hard)."

예시: "조이스틱을 오른쪽으로 밀면, 스프라이트를 10번 열로 이동시킨다." 이것은 10번이거나 아니거나 둘 중 하나입니다. 만약 조이스틱이 스프라이트를 얼마나 움직였는지 계산하려고 하면, 스위치가 이진법(on/off) 방식이기 때문에 수학적 계산이 불가능해집니다.

저자들은 아타리를 **"소프트 모드(Soft Mode)"**에서도 실행될 수 있도록 재구축했습니다.

비유: 전등 스위치 대신 조광기(dimmer switch)를 상상해 보세요. 빛이 엄격하게 "켜짐" 또는 "꺼짐"인 대신, "50% 켜짐" 또는 "73% 켜짐"이 될 수 있는 것입니다.
마법: 그들은 컴퓨터의 로직(CPU, 메모리, 그래픽 칩)이 이러한 조광기처럼 작동하게 만들었습니다.
- 순전파 (결과 - Forward Pass): 컴퓨터는 여전히 게임을 완벽하게 플레이합니다. 화면은 원래의 아타리와 똑같이 보입니다. 이 "소프트" 버전이 "하드" 버전과 정확히 같은 영상을 생성한다는 것을 수학적으로 증명했습니다.
- 역전파 (설명 - Backward Pass): 스위치들이 "부드럽기" 때문에, 컴퓨터는 이제 기울기(gradients)를 계산할 수 있습니다. 컴퓨터는 다음과 같은 질문에 답할 수 있습니다. "만약 내가 이 특정 메모리 바이트를 아주 조금 바꾼다면, 화면의 픽셀은 얼마나 변하는가?"

결과: 두 가지 새로운 에뮬레이터

팀은 이 "슈퍼 아타리"의 두 가지 독립된 버전을 구축했습니다.

jutari: Julia 프로그래밍 언어로 작성되었습니다.
jaxtari: JAX(고성능 수학 라이브러리)로 작성되었습니다.

성공했는가?
네. 그들은 64개의 서로 다른 아타리 게임을 대상으로 테스트했습니다.

메모리 확인: 그들의 새로운 버전의 메모리(RAM)는 기존 참조 에뮬레이터와 바이트 단위까지 100% 동일했습니다.
화면 확인: 화면의 이미지는 픽셀 단위까지 100% 동일했습니다.

이는 그들의 새로운 "소프트" 컴퓨터가 단순한 시뮬레이션이 아니라, 특별한 "설명 모드"가 켜진 원래의 완벽한 쌍둥이라는 것을 의미합니다.

"AI 어시스턴트" 요소

논문은 이 프로젝트를 구축하는 과정에 대해 놀라운 점을 언급합니다.

주장: 이런 프로젝트(전체 컴퓨터 시스템을 다시 쓰는 것)는 보통 인간 팀이 수개월 또는 수년이 걸립니다.
현실: 저자들은 약 137시간의 집중 작업(대략 6일) 만에 두 개의 완전한 작동 버전을 구축했습니다.
방법은? 그들은 힘든 작업을 수행하기 위해 AI 코딩 에이전트(코드를 작성하는 고급 챗봇 같은 것)를 사용했습니다. 인간은 관리자 역할을 하며 작업을 확인하고 버그를 수정하는 동안, AI가 코드의 대부분을 작성했습니다.

이것이 왜 중요한가 ("정답/Ground Truth")

이 논문 이전에는, 만약 당신이 아타리 게임을 플레이하는 AI가 왜 그런 움직임을 보였는지 설명하는 AI 도구를 사용한다면, 그 도구가 맞는지 확신할 수 없었습니다. 당신은 단지 "그럴듯해 보인다"라고 말할 수 있을 뿐이었습니다.

이제, 아타리 시스템이 완전히 알려져 있고 미분 가능하기 때문에:

당신은 설명 도구를 시스템에 실행할 수 있습니다.
당신은 도구의 답변을 컴퓨터의 실제 알려진 배선과 비교할 수 있습니다.
이제 당신은 드디어 "이 설명은 정확하다" 또는 "이 설명은 틀렸다"라고 말할 수 있습니다.

논문의 구체적인 예시

저자들은 이 기술을 스페이스 인베이더(Space Invaders) 게임에 테스트했습니다.

문제: 실제 게임에서는 조이스틱을 오른쪽으로 움직이면 대포가 움직입니다. 하지만 컴퓨터는 특정 메모리 주소로 점프(jump)함으로써 이를 수행합니다(이것은 "하드"한 점프입니다). 표준 수학 도구는 이 점프 지점에서 수학이 깨지기 때문에, "조이스스틱은 화면에 영향을 전혀 주지 않는다"라고 말할 것입니다.
해결책: 그들의 "소프트" 버전을 사용하면 이 점프를 부드럽게 만들 수 있습니다.
결과: 이제 수학적으로 조이스틱을 오른쪽으로 밀면 화면의 대포 가장자리에 불이 들어온다는 것을 올바르게 보여줍니다. 그들은 조이스틱이 화면에 어떻게 연결되어 있는지 정확히 알고 있었기 때문에 그 설명이 옳다는 것을 증명할 수 있었습니다.

요 요약

저자들은 완벽하게 알려진, 복잡한 비디오 게임 컴퓨터를 만들었으며, 이는 수학적 설명을 허용하는 "부드러운" 모드로도 실행될 수 있습니다. 그들은 이 소프트 모드가 실제 것과 똑같은 게임을 생성하면서도, 입력이 출력을 어떻게 만드는지 정확히 추적할 수 있게 해준다는 것을 증명했습니다. 그들은 AI 어시스턴트를 사용하여 이를 매우 빠르게 구축했으며, 우리가 사용하는 AI 설명이 실제로 진실을 말하고 있는지 검증할 수 있는 최초의 진정한 "테스트베드"를 만들어냈습니다.

기술 요약: 미분 가능한 아타리 VCS

문제 정의
본 논문은 설명 가능한 인공지 true AI(XAI)의 근본적인 이분법을 지적한다. 즉, 시스템이 단순하고 절차적(메커니즘은 알려져 있으나 사소하여 설명 테스트가 무의미함)이거나, 혹은 진정으로 복잡한(심층 신경망과 같이 XAI가 필요하지만 내부 기능에 대한 정답/그라운드 트루스가 존재하지 않음) 경우로 나뉜다는 것이다. 그라운드 트루스가 없다면, 설명은 그럴듯하고 확신에 차 보일 수 있지만 완전히 틀릴 수 있으며, 그 정확성을 검증할 방법도 없다. 저자들은 복잡하면서도 비트 단위로 완전히 명시되어 있고(fully specified), 동시에 미분 가능하다는 특징을 가진 연구 대상이 XAI 분야에 결여되어 있다고 주장한다. 이러한 미분 가능성은 그래디언트 기반 XAI 방법론을 기지의 메커니즘에 대해 검증하는 데 필수적이다.

방법론
이를 해결하기 위해, 저자들은 최초의 심층 강화 학습 시연에 사용되었던 플랫폼인 아타리 2600 비디오 컴퓨터 시스템(VCS)을 두 개의 독립적인 엔드 투 엔드 미분 가능 에뮬레이터인 jutari(Julia 구현)와 jaxtari(JAX 구현)로 재구현하였다.

아키텍처 복제: 이 구현은 6507 CPU(MOS 6502 코어), 텔레비전 인터페이스 어댑터(TIA), RIOT 칩(RAM, I/O, 타이머), 카트리지 뱅크 스위칭, 그리고 컨트롤러를 포함한 전체 VCS 스택을 다룬다. 두 포트 모두 DeepMind의 원본 DQN 연구에서 사용된 C++ 참조 에뮬레이터인 xitari와 검증 과정을 거쳤다.
미분 가능한 정식화: 시스템은 카트리지 ROM을 가중치 텐서로, 128바이트 RAM을 주소 지정 가능한 "소프트 테이프"로, 이산적 제어 흐름을 게이트로 취급한다. 이 이산적 하드웨어에 그래디언트 기반 방법론을 적용하기 위해 세 가지 특정 완화(relaxation) 기법이 적용된다:
- 메모리 액세스: ROM 및 RAM 읽기는 원-핫 주소 벡터에 대한 내적(dot product)으로 표현되어, 특정 메모리 바이트에 대한 그래디언트가 정의되도록 한다.
- 오코드 디스패치(Opcode Dispatch): 명령어 핸들러의 선택은 온도 파라미터 $T$ 에 의해 제어되는 후보 출력들에 대한 소프트맥스(softmax)로 모델링된다.
- 제어 흐름: 조건부 분기는 샤프니스 파라미터 $\alpha$ 를 사용하는 시그모이드 게이트를 통해 완화된다.
순방향-역방향 디커플링(Forward-Backward Decoupling): 저자들은 **Straight-Through Estimator (STE)**를 채택한다. 순방향 패스(forward pass)에서 시스템은 원래 하드웨어와 동일한 비트 단위 정확도를 가진 "하드 모드"로 작동한다. 역방향 패스(backward pass)에서 시스템은 완화된 함수들의 그래디언트를 활용하는 "소프트 모드"로 작동한다. 이는 순방향 궤적은 정확하게 유지하면서, 원래의 비트 로직에는 존재하지 않는 대리 그래디언트(surrogate gradients)를 노출하도록 보장한다.
검증: 두 포트는 모든 64개의 Arcade Learning Environment(ALE) 게임에 대해 엄격한 적합성 테스트를 거쳤으며, 내부 상태(RAM)와 출력(픽셀 버퍼)을 xitari와 비교하여 바이트 단위 및 픽셀 단위로 일치함을 확인했다.

주요 기여

두 개의 미분 가능한 포트: 모든 64개 게임에서 xitari를 정확히 재현하는(64/64 RAM 일치 및 64/64 픽셀 일치) 독립적인 Julia 및 JAX 구현체.
이론적 보장:
- 정리 1: STE를 사용할 때, 유한한 온도(finite temperature)에서 소프트 순방향 패스가 하드 순방향 패스와 비트 단위로 동일함을 증명한다.
- 정리 2: 온도가 0으로 수렴하고 샤프니스가 무한대로 갈 때, 완전 완화된 변형(STE 없는 버전)에 대한 오차 범위를 제공한다.
AI 지원 엔지니어링: 전통적으로 수개월의 인력이 소요되는 복잡한 에뮬레이터 포팅 작업이, 코딩 에이전트에 의해 상당 부분 자율적으로 작성됨으로써 약 137시간의 실제 작업 시간(29일간) 만에 구축되었음을 정량적으로 보고한다.
감사 도구(Audit Tool): 본 프로젝트는 비트 단위로 정확한 재구현이 참조 에뮬레이터 자체의 감사 도구가 될 수 있음을 보여준다. 이를 통해 xitari에서 발생한 초기화되지 않은 RAM 시딩(seeding)과 관련된 잠재적인 비결정론적 버그를 발견하였다.
정성적 그래디언트 연구: 미분 가능한 샘플러가 *스페이스 인베이더(Space Invaders)*에서 조이스틱-화면 간의 제어 경로를 성공적으로 복구하는 반면, 단순한(naive) 그래디언트는 소멸(vanish)하는 것을 보여줌으로써, 본 기질(substrate)이 알려진 메커니즘에 대한 속성(attribution)을 확인할 수 있음을 입증한다.

결과

적합성: 두 포트 모두 64개 ALE 게임 전체에 대해 참조 모델인 xitari와 완벽한 적합성을 달쳤으며, RAM의 서로 다른 바이트가 0개이고 프레임 버퍼의 서로 다른 픽셀이 0개임을 확인했다.
성능: JAX 포트(jaxtari)는 단일 범용 GPU에서 초당 약 **310만 환경 스텝(environment-steps)**에 달하는 배치화된 완전 미분 가능 롤아웃을 가능하게 한다.
그래디언트 유효성: 스페이스 인베이더 ROM을 사용한 개념 증명 연구에서, 시스템은 움직이는 캐논의 가장자리와 조이스틱 제어 매핑을 올바르게 식별하는 그래디언트를 생성했다. 단순한 그래디언트(미분 가능한 샘플러가 없는 경우)는 하드웨어의 이산적 특성을 반영하여 0이 되었으나, 제안된 방법은 실제 인과 관계를 복구해 냈다.

의의 및 주장
본 논문은 이 연구를 최종적인 XAI 벤치마크가 아닌, 하나의 **기초(foundation)**를 구축하는 작업으로 규정한다. 이 작업의 주요 의의는 진정한 복잡성을 지니면서도 완전히 명시되고 미분 가능한 첫 번째 연구 대상을 제공한다는 점에 있다. 이를 통해 처음으로 알려진 메커니즘에 대해 XAI 속성을 검증하는 것이 가능해졌다.

저자들은 다음과 같이 겸허하게 주장한다:

본 논문에서 XAI 방법론의 순위를 매기거나 학습된 에이전트(정책)를 평가하는 것을 목적으로 하지 않는다.
제공된 그래디언트는 하드 맵(hard map)의 직접적인 미분이 아니라 **대리 추정치(surrogate estimators)**임을 명시한다.
목표는 커뮤니티가 현재를 지배하고 있는 "그럴듯하지만 검증되지 않은" 설명을 넘어, 기지의 진실(known truth)을 바탕으로 XAI 도구를 개발하고 검증할 수 있도록 하는 것임을 강조한다.

또한, 본 연구는 엄격하고 자동화된 적합성 오라클(conformance oracle)과 결합될 때 코딩 에이전트가 복잡한 검증 소프트웨어 시스템의 개발을 얼마나 크게 가속화할 수 있는지 보여줌으로써 AI 지원 엔지니어링의 잠재력을 부각한다.