🤖 machine learning

Interaction Locality in Hierarchical Recursive Reasoning

본 논문은 계층적 및 재귀적 추론 모델 (HRM 및 TRM) 이 복잡한 공간 작업을 해결할 때 국소적 정보 기록을 글로벌 구조에 누적하는 방식을 사용한다는 것을 활성화 패칭과 특징 제거를 통해 입증하는 작업-기하 인식 프레임워크인"상호작용 국소성"을 소개하며, 이는 대규모 신체화된 3D 모델에서 관찰되는 경계 집중형 국소성과는 대조적인 패턴이다.

원저자: Yosuke Miyanishi, Tetsuro Morimura

게시일 2026-05-21

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yosuke Miyanishi, Tetsuro Morimura

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

이 논문은 간단한 언어와 일상적인 비유를 사용하여 설명합니다.

핵심 아이디어: AI 는 어떻게 공간에 대해 "생각"할까?

거대한 미로를 풀려고 한다고 상상해 보세요. 이를 위해서는 두 가지가 함께 작동해야 합니다:

국소적 이동: "여기에 벽이 있으니 오른쪽으로 갈 수 없어."
전체 계획: "나는 멀리 있는 출구로 가야 하니까 북쪽으로 향해야 해."

이 논문은 AI 모델 (특히 루프 형태로 사고하는 "재귀적" 모델) 이 이 두 가지를 어떻게 처리하는지 구체적인 질문을 던집니다. 그들은 국소적 세부 사항과 전체 계획을 분리해 두는 걸까요, 아니면 섞여 버리는 걸까요?

저자들은 **"상호작용 국소성 (Interaction Locality)"**이라는 새로운 도구를 만들었습니다. 이는 정보 흐름을 위한 공간 열지도라고 생각하세요. 이는 다음과 같은 것을 측정합니다: AI 의 뇌 특정 부분 (미로의 단일 셀처럼) 을 찌르면, 그 반응이 바로 그곳에 머무르나요, 아니면 전체 그림을 바꾸기 위해 파동처럼 퍼져 나가요?

도구: 어떻게 테스트했는가

이러한 AI 모델이 어떻게 작동하는지 보기 위해 연구자들은 세 가지 다른 "프로브 (AI 를 찌르는 방법)"를 사용했습니다:

"희소 특징 (Sparse Feature)" 점검 (SAE): AI 에게 "이것은 빨간 벽이다"나 "이것은 회전이다"와 같은 수천 개의 작고 구체적인 아이디어 도서관이 있다고 상상해 보세요. 그들은 이러한 아이디어를 하나씩 끄면서 미로나 퍼즐의 어떤 부분에 영향을 미치는지 확인했습니다.
"잡음 주입 (Noise Injection)" 테스트 (활성화 패치링): 이것이 주요 테스트입니다. 그들은 약간의 "정적"이나 잡음을 가져와 AI 의 메모리 한 특정 지점에 주입했습니다. 그런 다음 그 잡음이 어디로 이동하는지 관찰했습니다. 그 잡음이 한 방에만 머물렀나요, 아니면 집 전체로 퍼졌나요?
"청사진" 점검 (야코비안/어텐션): 그들은 AI 가 실제로 그렇게 하지는 않더라도 이론적으로 어떻게 연결될 수 있는지 보기 위해 수학적 배선 도면을 살펴보았습니다.

실험: 퍼즐과 3D 세계

그들은 세 가지 유형의 퍼즐과 하나의 실제 세계 시뮬레이션에서 이를 테스트했습니다:

미로 - 하드 (Maze-Hard): 복잡한 경로를 탐색하는 것.
수독로 극한 (Sudoku Extreme): 규칙에 따라 격자에 숫자를 채우는 것.
ARC-AGI: 시각적 패턴 퍼즐 해결 (예: "이 모양이 파란색으로 변하면 다음 모양은 빨간색으로 변한다").
MTU3D: 실제 실내 방 (ScanNet 데이터셋과 같은) 을 탐색하는 대규모 3D 로봇.

그들이 발견한 것

1. "국소적 작성자" 대 "전체 메신저"

퍼즐 모델 (HRM 과 TRM) 에서 그들은 흥미로운 패턴을 발견했습니다:

"고수준" 상태 (H): 이것이 AI 의 "큰 그림" 계획을 유지하는 부분입니다. 놀랍게도, 이 부분이 정보를 작성할 때 그것은 매우 국소적인 경향이 있습니다. 그것은 즉각적인 이웃에게 메모를 작성합니다 (예: "수독로의 이 특정 셀은 5 입니다").
"저수준" 상태 (L): 이것이 세부적인 작업을 수행하는 부분입니다.
루프의 마법: 핵심은 AI 가 이 과정을 반복한다는 것입니다. "고수준" 부분이 국소적 메모를 작성한 다음, 그것을 다음 루프로 전달하고, 그 다음 루프로 전달합니다. 시간이 지남에 따라 이러한 작고 국소적인 메모들이 누적되어 전체 솔루션을 구축합니다.

비유: 긴 줄을 따라 메시지를 전달하는 사람들의 팀을 상상해 보세요.

사람 A(고수준) 가 사람 B(국소) 에게 비밀을 속삭입니다.
사람 B 가 사람 C 에게 속삭입니다.
결국 메시지는 줄의 끝에 도달합니다.
논문은 그 "속삭임" 자체가 매우 조용하고 국소적이지만, 속삭임의 연쇄가 시끄럽고 전체적인 발표를 만들어낸다는 것을 발견했습니다.

2. 3D 로봇의 놀라움 (MTU3D)

실제 방을 탐색하는 3D 로봇에서 이를 테스트했을 때 패턴이 바뀌었습니다.

퍼즐에서는 "국소에서 전체로"의 인계는 사고 루프 내부에서 발생했습니다.
3D 로봇에서는 "국소" 행동은 로봇의 눈 (시각 인코더) 이 뇌 (그라운딩 모듈) 에 데이터를 전달하는 경계에서만 발생했습니다.
로봇의 시각적 뇌 내부에서는 정보가 국소적으로 머무르지 않았고, 여기저기 섞여 있었습니다.

비유:

퍼즐 AI: 불을 끄기 위해 물을 담은 양동이를 줄을 따라 전달하는 이웃들처럼. 각 사람은 자신 옆의 양동이에만 손을 대지만, 물은 거리 전체로 이동합니다.
3D 로봇: 카메라가 사진을 찍는 것처럼. 카메라는 한 번에 방 전체를 봅니다 (전체). "국소" 부분은 카메라가 다음에 무엇을 할지 결정하는 사람에게 사진을 건네줄 때만 발생합니다. 카메라 자체는 "국소" 세부 사항을 분리해 두지 않고, 모두 섞어 버립니다.

주요 결론

이 논문은 "국소"와 "전체"가 AI 의 서로 다른 부분에 대한 고정된 라벨이 아님을 결론지었습니다. 대신, 그들은 다음에 의존하는 관계입니다:

작업: 격자 퍼즐인가요, 아니면 3D 방인가요?
타이밍: 사고의 첫 단계인가요, 아니면 열 번째 단계인가요?
아키텍처: AI 가 별도의 모듈을 사용하나요, 아니면 하나의 공유 모듈을 사용하나요?

"상호작용 국소성" 프레임워크는 이러한 퍼즐 해결 AI 들의 경우 "전체 계획"이 모든 것을 한 번에 보는 별도의 "전체 뇌"를 갖는 것이 아니라, 서로 위에 쌓인 수많은 작고 국소적인 업데이트를 쌓아 올려 구축된다는 것을 증명합니다.

간단히 말해: 이 논문은 AI 의 생각이 어디에 머무르고 어디로 퍼지는지 측정하는 새로운 방법을 제시하며, 재귀적 모델의 경우 "큰 그림"은 루프 안에서 전달되는 매우 신중하고 국소적인 메모들의 뭉치에 불과함을 보여줍니다.

기술적 요약: 계층적 재귀 추론에서의 상호작용 국소성

문제 제기
인공 에이전트의 공간적 추론은 위치 고정 계산 (예: 특정 셀 이동, 특정 장애물 회피) 수행 능력과 동시에 위치 불변 구조 (예: 전역 경로, 제약 구역, 객체 수준 계획) 를 유지하는 이중 능력을 요구합니다. HRM(Hierarchical Reasoning Model) 및 TRM(Tiny Recursive Model) 과 같은 컴팩트한 재귀 아키텍처가 Maze-Hard, Sudoku Extreme, ARC-AGI 와 같은 작업에서 성공을 거두었음에도 불구하고, 이러한 모델이 지역적 실행을 전역적 계획으로부터 어떻게 분리하는지에 대한 기계적 이해는 여전히 largely 가설에 머무르고 있습니다. 기존 해석 가능성 연구는 종종 "고수준 상태 = 전역 계획"과 같은 비공식적 레이블에 의존하며, 이는 공간적 도달 범위에 대한 기계적 측정을 구성하지 못합니다. 따라서 심볼릭 퍼즐과 구체화된 3D 환경 모두에 적용 가능하도록, 정보 흐름이 인접한 셀/의미적 세그먼트 내에 머무르는지 아니면 이를 가로지르는지를 경험적으로 측정할 수 있는 프레임워크가 필요합니다.

방법론: 상호작용 국소성 프레임워크
저자들은 신경 계산 내 정보 흐름의 공간적 도달 범위를 측정하도록 설계된 작업 - 기하학적 인식 프레임워크인 **상호작용 국소성 (Interaction Locality)**을 제안합니다. 이 프레임워크는 미로 복도, 스도쿠 3x3 구역, 또는 ARC-AGI 객체 이웃과 같은 작업의 외부 기하학에 상대적으로 "국소성"을 정의합니다.

이 방법론은 이 프레임워크를 구체화하기 위해 3 단계 프로브 세트를 사용합니다:

희소 오토인코더 (SAE) 특성 제거: 인간이 읽을 수 있는 특성을 식별하고 특정 작업 세그먼트 (예: 특정 복도 또는 스도쿠 박스) 내에서의 영향을 측정하는 데 사용됩니다. 이는 의미적 가설을 제공하지만 인과적 도달 범위를 완전히 입증하지는 못합니다.
유한 노이즈 활성화 패칭: 주요 인과성 테스트입니다. 저자들은 소스 위치 $v$ 의 단일 활성화 벡터를 유한 노이즈 ( $\sigma \epsilon$ ) 로 교란시키고, 목표 위치 $u$ 에서의 결과 활성화 차이를 측정합니다. 국소성은 소스의 작업 정의 이웃 내에 남아 있는 활성화 변화 질량의 비율로 정량화됩니다. 이 방법은 비무한소 변화 하에서의 인과적 도달 범위를 테스트합니다.
구조적 점검 (부록): 야코비안 및 어텐션 분석은 선형화된 위상과 어텐션 편향을 보고하는 구조적 진단 도구로 사용되며, 유한 교란 결과의 맥락을 제공하지만 주요 인과적 증거는 아닙니다.

이 프레임워크는 다음에 적용되었습니다:

HRM 및 TRM: Maze-Hard, Sudoku Extreme, ARC-AGI 에서 분석되었습니다. 중요한 분석 창은 상태 변화 수렴 (예: 초기 추론 단계) 을 기반으로 선택되었습니다.
MTU3D: ScanNet 실내 장면에서 테스트된 대규모 구체화된 3D 장면 기반 모델입니다. 여기서는 이웃이 3D 공간에서의 메트릭 객체 거리로 정의됩니다.

주요 결과

재귀 모델에서의 지역 - 전역 전환: 미로, 스도쿠, ARC-AGI 전반에 걸쳐 유한 노이즈 패칭은 일관된 패턴을 드러냅니다: 고수준 (H) 재귀 상태는 인접한 셀 또는 동일 세그먼트 단위 내에서 정보를 쓰는 경향이 있습니다. H 수준 쓰기는 종종 저수준 (L) 쓰기보다 공간적으로 더 집중되어 있지만, 교차 주기 전파를 통해 이러한 지역적 요약이 재귀 상태를 통해 광범위하게 전달될 수 있습니다.
- TRM/미로에서는 대조가 뚜렷합니다: H 내 국소성은 높습니다 (0.580), 반면 L 내 국소성은 기준선 근처 (0.032) 입니다. 이는 공유된 재귀 연산자가 H 상태 내에서 지역적 쓰기를 집중시킨다는 것을 시사합니다.
- HRM에서도 H 수준 쓰기는 지역적이지만, "구역 (house)" 제약 단위의 크기가 더 크기 때문에 스도쿠에서는 그 차이가 덜 두드러집니다.
구체화된 3D 모델에서의 분리: MTU3D에 적용되었을 때, 이 프레임워크는 다른 역학을 드러냅니다. 인과적 공간 국소성은 시각적 장면 특징이 하류 기반 모듈로 전달되는 전환점 (1 단계 -2 단계 경계) 에서 주로 나타납니다. 그러나 통합된 시각 인코더 내부에서는 구조적 야코비안 및 어텐션 점수가 공간적 편향을 보임에도 불구하고, 인과적 회복 패칭은 무작위 기준선 근처에 머뭅니다. 이는 구체화된 3D 모델에서 인과적 공간 구조가 HRM/TRM 에서 관찰된 것과 같이 재귀 역학에서 균일하게 분포되거나 나타나는 것이 아니라 모듈 경계에 집중되어 있음을 시사합니다.
증거의 삼각측량: 본 논문은 SAE 특성이 읽을 수 있는 세그먼트 수준 가설 (예: 특정 복도에 작용하는 특성) 을 제공하고, 유한 노이즈 패칭이 이러한 국소성들이 비무한소 개입에서도 살아남음을 확인하며, 구조적 야코비안이 선형화된 위상 맥락을 제공함을 보여줍니다.

의의 및 주장
본 논문은 공간적 추론 해석 가능성의 측정 패러다임을 정성적 시각화에서 재현 가능한 개입 기반 프레임워크로 전환한다고 주장합니다.

기계적 수정: 결과는 "H 는 전역적이고 L 은 지역적이다"라는 비공식적 가설을 수정합니다. 대신 저자들은 H 수준 상태가 주기 내에서 지역적 쓰기를 수행한 후, 이것이 재귀 시간을 통해 광범위하게 전파됨을 보여줍니다. 지역적 및 전역적 계산은 이름 붙은 상태의 정적 속성이 아니라, 상태, 작업 기하학, 교란 규모, 그리고 재귀 시간 엣지 간의 관계입니다.
프레임워크 범위: 상호작용 국소성은 지역적 행동, 객체 수준 관계, 그리고 전역 계획이 단순히 표현 내에서 공시각적인 것이 아니라 인과적으로 연결되어 있는지 여부를 결정하는 진단 도구로 제시됩니다.
한계 및 겸손: 저자들은 명시적으로 분석이 정확도 일치 훈련 스윕이 아닌 공개된 체크포인트를 비교한다고 명시합니다. 또한 이 프레임워크는 정의된 이웃에 의존하는 기하학적 의존성을 가지며, MTU3D 에서 관찰된 분리 (인과적 국소성 없이 구조적 편향) 는 아키텍처적 공간 어텐션이 자동으로 인과적 지역적 회복을 보장하지 않음을 강조합니다. 본 논문은 공간적 추론을 해결한다고 주장하지는 않지만, 기존 모델이 공간 규모를 처리하는 방식을 감사할 수 있는 방법을 제시합니다.

결론
상호작용 국소성은 서로 다른 아키텍처와 도메인에 걸쳐 지역적 이동, 제약 전파, 경로 수준 계획을 비교하기 위한 통합된 좌표계를 제공합니다. 해석 가능성을 유한 개입과 작업 기하학에 기반함으로써, 이 프레임워크는 재귀 및 구체화된 모델이 지역적 실행과 전역적 계획의 분리를 어떻게 관리하는지에 대해 더 엄격하게 이해할 수 있는 방법을 제공합니다.