💻 computer science

From Intermediate States to Novel Outcomes: Intervention-Sensitive Visual Process Grounding in an Artificial Cognitive System

이 논문은 인공 인지 시스템이 새로운 결과를 달성하기 위해 개입에 민감한 시각적 과정 규칙(서로 다른 중간 상태를 구별하는 것)을 추론하고 적용할 수 있음을 입증하며, 종단점만을 활용한 대조군보다 성능이 현저히 뛰어나고, 직접적인 개입 감독 없이도 중간 이미지 치환에 의해 명시적인 과정 코드가 역전될 수 있음을 보여주는 언어 불필요 과업을 소개한다.

원저자: Tomoki Saka

게시일 2026-08-06

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Tomoki Saka

원본 논문은 CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

탐정의 딜레마: 왜 "무엇"보다 "어떻게"가 더 중요한가

당신이 마술을 보고 있다고 상상해 보세요. 마술사가 빨간 공으로 시작해서, 몇 가지 신비로운 동작을 한 뒤, 테이블 위에 파란 공을 놓으며 끝을 맺습니다. 만약 당신이 시작과 끝만 보았다면, "그래, 빨간색이 파란색으로 변했구나"라고 생각할지도 모릅니다. 하지만 만약 마술사가 동작의 순서를 다르게 했다면 어떨까요? 아마도 공을 테이블 위로 굴리기 전에 파란색으로 칠했을 수도 있고, 혹은 빨간 공을 먼저 굴린 후에 색을 칠했을 수도 있습니다. 만약 당신이 새로운 무대에서 새로운 공으로 이 마술을 재현하려 한다면, 그 순서가 모든 것을 바꿀 것입니다. 먼저 색을 칠했다면, 공은 먼저 굴렸을 때와는 다르게 굴러갈 수도 있기 때문입니다.

이것이 인공지능(AI)의 매혹적인 문제의 핵심입니다. 오랫동안 컴퓨터는 "무엇"을 인식하는 것—즉, 사진 속에 고양이나 자동차가 들어있다는 것을 식별하는 것—에는 뛰어난 모습을 보여왔습니다. 하지만 컴퓨터는 종종 "어떻게"—그 물체가 그곳에 도달하게 된 일련의 단계들—를 이해하는 데 어려움을 겪습니다. 이 논문은 **시각적 프로세스 제어(visual process control)**라는 AI의 특정 영역을 깊이 파고듭니다. 이 연구는 단순하지만 까다로운 질문을 던집니다. 만약 AI가 시작과 끝을 본다면, 그 변화가 어떻게 일어났는지를 설명하는 숨겨진 중간 단계를 찾아낼 수 있을까요? 그리고 더 중요한 것은, 만약 그 숨겨진 중간 단계를 바꾼다면 AI가 다음에 할 행동에 대해 생각을 바꿀까요? 연구자들은 단순히 정답을 암기하는 것이 아니라, 재료가 바뀌었을 때 새로운 요리를 만들어낼 수 있도록 '레시피'를 실제로 이해하는 시스템을 구축하고자 했습니다.

"중간 단계"라는 마술의 속임수

이 연구에서 도쿄 전기 대학의 사카 토모키(Tomoki Saka)라는 연구자는 이 아이디어를 테스트하기 위한 디지털 놀이터를 만들었습니다. 이것은 마치 색깔이 있는 도형들이 격자 위에 놓인 비디오 게임 레벨과 같습니다. 이 게임에는 물체를 움직이는 두 가지 규칙이 있습니다:

색상 우선 규칙 (The Color-First Rule): 특정 도형의 색을 먼저 바꾼 다음, 그 새로운 색을 가진 모든 객체를 이동시킵니다.
이동 우선 규칙 (The Move-First Rule): 특정 색을 가진 모든 객체를 먼저 이동시킨 다음, 대상 도형의 색을 바꿉니다.

여기 반전이 있습니다. 연구자들은 시작 그림과 끝 그림이 동일하더라도 두 규칙이 기술적으로 모두 작동할 수 있도록 게임을 설정했습니다! 시작과 끝은 똑같아 보입니다. 유일한 차이점은 어떤 규칙이 실제로 사용되었는지를 보여주는 단 하나의 "중간 프레임"(D1이라고 불림)뿐입니다.

목표는 AI에게 그 중간 프레임을 보고 어떤 규칙이 사용되었는지 파악한 다음, 그 규칙을 새로운 퍼즐에 적용하도록 가르치는 것이었습니다. 이는 마치 학생에게 수학 문제를 보여주는데, 정답은 보이지만 그 방법론에 대한 유일한 단서는 페이지 중간에 적힌 단 하나의 낙서뿐인 상황과 같습니다. 만약 학생이 그 낙서를 읽을 수 있다면, 새로운 문제를 풀 수 있습니다. 만약 읽지 못한다면, 그저 추측하는 것에 불과합니다.

거대한 발견: 지름길을 쓰라고 배우지 않고도 학습하기

이 논문에서 가장 흥적인 부분은 연구자들이 AI를 "지름길 없는" 모드로 테스트했을 때 일어난 일입니다. 그들은 AI에게 규칙을 정상적으로 학습하도록 수천 개의 사례를 통해 훈련시켰습니다. 중간 프레임이 바뀌었을 때 어떻게 대응해야 하는지에 대한 특별한 기술을 가르치지 않았습니다. 그저 자연스러운 패턴을 학습하도록 내버려 두었습니다.

그런 다음, 그들은 테스트 중에 기막힌 수를 썼습니다. AI가 한 번도 본 적 없는 퍼즐을 가져온 뒤, 중간 프레임을 반대되는 규칙의 것으로 바꿔치기했습니다. 예를 들어, AI에게 "색상 우선" 규칙을 따르는 것처럼 보이는 퍼즐을 보여주면서, 몰래 "이동 우선" 예시의 중간 프레임을 끼워 넣은 것입니다.

결과는 놀라웠습니다. AI가 이 교체에 대해 명시적으로 배운 적이 없음에도 불구하고, AI는 즉시 생각을 바꾸었습니다. AI는 새로운 중간 프레임을 보고, "아, 이것은 사실 '이동 우선' 퍼즐이구나!"라고 깨달은 뒤 올바른 새로운 결과를 만들어냈습니다.

수치 또한 놀라운 정밀도로 이를 뒷받침합니다. AI가 중간 단서(종착점 제어) 없이 추측하도록 강요되었을 때, AI는 기본적으로 동전 던지기를 하는 것과 같았으며 약 50%의 확률로만 정답을 맞혔습니다. 하지만 중간 프레임을 볼 수 있게 되자, IoU(Intersection over Union)라는 지표로 측정했을 때 **98.1%**의 확률로 이미지를 정확히 구현해 냈습니다. 더욱 인상적인 것은, 연구자들이 중간 프레임을 바꿨을 때 AI가 대안적인 결과로 전환할 확률이 0.99988이었다는 점입니다. 이는 거의 100%에 가깝습니다. 그것은 단순한 추측이 아니라, 과정의 "레시피"를 진정으로 읽는 법을 배운 것이었습니다.

"불확실성"의 서프라이즈

연구자들은 또 다른 것도 테스트했습니다. 만약 중간 프레임을 아예 숨겨버리면 어떻게 될까요? 현실 세계에서는 때때로 모든 단서를 가질 수 없습니다. 똑똑한 시스템이라면 자신 있게 틀린 답을 내놓는 대신 "모르겠다"라고 말할 수 있어야 합니다.

그들은 AI가 자연스럽게 "모르겠다"라고 말하는 법을 배우지 못했다는 것을 발견했습니다. 중간 프레임이 비어 있을 때조차도, AI는 여전히 매우 확신에 차서 한쪽 답을 선택하거나 다른 쪽 답을 높은 확신도로 골랐습니다. AI가 불확실해지는 법(즉, "확실하지 않다"라고 말하는 법)을 배우려면, 연구자들이 훈련 과정에서 명시적으로 불확실성을 가르쳐야만 했습니다. 이는 매우 중요한 발견입니다: 단계를 이해한다고 해서, 자신이 단계를 놓치고 있다는 사실까지 자동으로 알게 되는 것은 아닙니다. AI는 누락된 정보를 처리하는 법을 배우기 위해 구체적인 수업이 필요했습니다.

"비밀 코드" vs "열린 책"

마지막으로, 팀은 AI가 스스로에게 소통하는 두 가지 방식을 비교했습니다.

열린 책 (명시적 인터페이스 - Explicit Interface): AI가 "규칙 A" 또는 "규칙 B"와 같이 간단한 메모를 작성합니다. 이는 인간이 읽고 이해하기 쉽습니다.
비밀 코드 (잠재적 인터페이스 - Latent Interface): AI가 오직 컴퓨터만이 이해할 수 있는 복잡하고 보이지 않는 숫자 스트림을 사용합니다.

"비밀 코드" 버전이 정답을 맞히는 데 있어 약간 더 나은 성능(정확도에서 약 0.008 포인트 높음)을 보였습니다. 그러나 "열린 책" 버전 역시 매우 뛰어난 성능(98.1% 정확도)을 보여주었으며, 이해 가능하다는 큰 장점을 가지고 있었습니다. 연구자들은 비밀 코드가 아주 미세한 우위를 점하긴 하지만, 단순하고 읽기 쉬운 메모만으로도 문제를 거의 완벽하게 해결하기에 충분하다는 결론을 내렸습니다.

이것이 미래에 의미하는 바

이 논문은 인간의 감정이나 현실 세계의 물리학을 이해하는 로봇을 만들었다고 주장하는 것이 아닙니다. 이 연구는 도형과 색상을 이용한 매우 단순하고 인위적인 세계를 사용했습니다. 하지만 이 연구는 강력한 점을 증명했습니다: AI가 단순히 "무엇"을 넘어 과정의 "어떻게"에 민감해질 수 있다는 것입니다.

이 연구는 만약 중간 단계를 살펴보도록 시스템을 설계한다면, 그 지식을 새로운 상황에 일반화할 수 있으며, 심지어 그 단계들을 바꿔치기하여 속이더라도 그렇다는 것을 보여주었습니다. 또한 우리는 주의해야 한다는 점도 보여주었습니다. AI가 어떤 과정을 학습했다고 해서, 정보가 누락되었을 때 그것을 인지한다는 뜻은 아닙니다.

요약하자면, 이 연구는 단순히 게임의 최종 점수를 암기하는 것이 아니라, 승리하기 위해 사용된 전략을 실제로 이해하는 AI를 구축하는 방향으로 나아가는 한 걸음입니다. 그리고 그것은 기계가 배우기에 꽤 멋진 기술입니다.

=== 기술 요약: 중간 상태에서 새로운 결과로 ===

문제 제기
인공 인지 시스템은 종종 어떤 상태에 도달했는지와 그 상태에 어떻게 도달했는지를 구분하는 데 어려움을 겪는다. 많은 시나리오에서 서로 다른 절차적 시퀀스가 동일한 초기 및 최종 상태로 수렴하지만, 새로운 쿼리에 적용될 때는 서로 다른 행동을 함의한다. 최종 예측 정확도에만 초점을 맞춘 표준 엔드 투 엔드(end-to-end) 평가는 시스템이 제시된 과정을 인식한 것인지, 중간 표현을 활용한 것인지, 아니면 단순히 최종 상태가 결과를 예측하는 "엔드포인트 지름길(endpoint shortcut)"을 이용한 것인지 판단할 수 없다. 핵심 과제는 정답이 엔드포인트와 쿼리만으로는 결정되지 않도록 설정하여, 시스템이 중간 증거를 바탕으로 특정 변환 순서를 추론하고 적용하도록 만드는 것이다.

방법론
본 연구는 과정 인식과 실행을 분리하기 위해 설계된 언어 불가지론적(language-free)이며 반사실적으로 쌍을 이룬(counterfactually paired) 시각적 과업을 도입한다.

과업 구조: 시연은 초기 이미지( $D_0$ ), 중간 이미지( $D_1$ ), 최종 이미지( $D_2$ )로 구성된다. 두 가지 프로세스 순서가 존재한다: (0) 대상 도형의 색을 바꾼 후 해당 색상의 객체를 이동시키는 것, 또는 (1) 객체를 먼저 이동시킨 후 색을 바꾸는 것. 반사실적 쌍을 이룬 시연의 경우, 두 순서 모두에서 $D_0$ 와 $D_2$ 는 동일하지만, $D_1$ 은 다르며 이는 특정 시퀀스를 인코딩한다. 쿼리 이미지( $Q_0$ ) 또한 쌍 내에서 동일하지만, 올바른 결과( $Y^{(0)}$ 와 $Y^{(1)}$ )는 서로 다르다.
시스템 아키텍처: 저자는 두 가지 인터페이스를 비교한다:
1. 명시적 저대역폭 인터페이스(Explicit Low-Bandwidth Interface): 인식기가 $(D_0, D_1, D_2)$ 를 2상태 프로세스 분포( $\hat{p}$ )로 매핑하면, 이를 번역 지향적 실행기가 조건화하여 결과를 생성한다.
2. 고대역폭 잠재 인터페이스(High-Bandwidth Latent Interface): 인식기에서 별도의 실행기로 제약 없는 연속 벡터를 전달한다.
개입 민감형 절제 연구(Intervention-Sensitive Ablation): 학습된 개입 규칙과 평가 시의 증거를 분리하기 위해, 저자는 치환 감독(Substitution Supervision)(중간 이미지 $D_1$ $D_{1}$ 이 대응하는 짝과 교체될 때 레이블을 역전시키도록 훈련)과 마스크 불확실성 감독(Masked Uncertainty Supervision)(중간 이미지가 가려졌을 때 균등 분포를 출력하도록 훈련)을 교차하는 $2 \times 2$ $2 \times 2$ 요인 설계를 사용한다.
- 캐노니컬 전용(Canonical Only): 표준 프로세스 감독은 받지만, 명시적인 치환 또는 마스크 손실은 받지 않는다. 치환은 평가 시에만 도입된다.
- 전체 개입(Full Intervention): 캐노니컬, 치환, 마스크 손실을 모두 받는다.
평가: 본 연구는 12개의 독립적으로 생성된 코퍼스를 사용하며, 홀드아웃 위치 패리티(동일 그리드 생성기 내에서의 반대 좌표 패리티)에 대해 테스트한다. 주요 지표는 전경 IoU(Foreground Intersection over Union), 정확한 이미지 정확도, 그리고 프로세스 불확실성 보정(마스킹 시 0.5 확률에서의 편차)이다.

주요 기여

반사실적 쌍 과업: 엔드포인트 및 쿼리 지름길을 제거하여 중간 상태( $D_1$ )에 대한 의존성을 강제함으로써 프로세스 모호성을 해결하는 최소한의 설정을 구축했다.
캐노니컬 전용 치환 테스트: 표준 프로세스 예시로만 훈련된 시스템(명시적 치환 규칙 없이도)이 평가 시 중간 이미지가 치환되었을 때 스스로 프로세스 코드와 결과를 역전시킬 수 있음을 입증했다.
능력의 요인적 분리: 치환 일관성(대안적 증거에 대한 민감도)과 불확실성 보정(부재하는 증거에 대한 민감도)을 구분하였다. 연구는 이 두 가지가 서로 다른 감독을 필요로 하는 별개의 능력임을 보여준다.
인터페이스 충실도 분석: 동일한 실행기 내에서 진(true), 연(soft), 경(hard) 프로세스 코드를 비교하여, 이산적 프로세스 인터페이스가 출력 수준의 인식 손실을 초래하지 않음을 검증했다.
대역폭 대 의미론: 인터페이스를 고대역폭 잠재 벡터에서 저대역폭 의미 변수로 제한했을 때의 성능 비용을 정량화했다.

결과

프로세스 기반 실행: 완전 감독된 명시적 시스템은 홀드아웃 위치 패리티에 대해 .981의 전경 IoU를 달성하였으며, 이는 엔드포인트 제어 모델(IoU .597, 모호성 베이스라인에 근접)보다 유의미하게 높았다. .384의 IoU 차이는 프로세스 정보가 엔드포인트 모호성을 해결함을 확인시켜 준다.
자발적 개입 민감도: 캐노니컬 전용 환경(치환 손실 없음)에서 $D_1$ 을 대응하는 짝으로 치환했을 때, 시스템은 짝이 되는 대안 결과를 선택할 확률이 .99988 (95% CI [.99968, .99999])이었다. 이는 중간 상태에서 프로세스 코드로의 매핑이 명시적인 개입 훈련 없이도 일반화되었음을 보여준다.
치환 감독의 중복성: 명시적인 치환 손실을 추가하는 것은 측정 가능한 이득을 제공하지 않았다. 시스템은 이미 치환에 반응하는 능력이 포화 상태였다.
불확실성 보정: 마스킹된 $D_1$ 하에서 보정된 불확실성(약 0.5 확률 출력)은 캐노니컬 훈련으로부터 나타나지 않았다(0.5로부터의 편차는 .492). 이는 명시적인 마스크 감독이 필요했다(편차가 .001로 감소). 또한, 균등한 프로세스 코드가 반드시 균등한 이미지 분포를 보장하는 것은 아니었다. 실행기가 이를 확신에 찬 혼합 결과로 매핑할 수 있었기 때문이다.
인터페이스 비교: 고대역폭 잠재 인터페이스가 명시적 인터페이스보다 약간 더 우수한 성능을 보였다 (IoU 차이 -.008). 그러나 진(true), 연(soft), 경(hard) 프로세스 코드는 항목별로 동일한 이산 이미지를 생성하였으며, 이는 명시적 인터페이스가 고충실도 실행에 충분함을 확인해 준다.

의의 및 주장
본 논문은 제한된 의미에서의 **개입 민감적 기능적 프로세스 그라운딩(intervention-sensitive functional process grounding)**을 입증한다고 주장한다. 저자는 시스템이 실제 세계의 인과 그래프나 인간과 같은 이해를 발견했다고 주장하는 것이 아니다. 대신, 다음과 같은 점을 인공 인지 시스템 내에서 확립한다:

시각적 프로세스 증거의 통제된 변화(중간 상태 $D_1$ 의 치환)는 명시적인 프로세스 상태를 변화시킨다.
이러한 변화는 고정된 인터페이스를 통해 전파되어 대응하는 방향으로 미래의 출력을 변경한다.
이러한 동작은 명시적인 개입 규칙 없이도 일반적인 프로세스 감독으로부터 발생할 수 있으며, 이는 "프로세스 학습"과 "지름길 학습"을 구분한다.
치환 일관성과 불확실성 보정은 서로 다른 능력이다. 전자는 자발적으로 나타날 수 있는 반면, 후자는 특정 감독을 필요로 한다.

연구는 고대역폭 잠재 인터페이스가 약간의 예측적 이점을 제공하지만, 프로세스를 인식하도록 훈련된 경우 저대역폭 의미 인터페이스만으로도 고품질의 개입 민감적 제어가 가능하다는 결론을 내린다. 이 결과는 엔드포인트가 모호한 시나리오에서 미래를 제어하기 위한 명시적 중간 표현의 유용성을 뒷받침한다.