💬 NLP

What Iterated Self-Feeding Probes of Language Models Measure, and a test that separates the construction from the model

이 논문은 반복적인 자기 섭식 언어 모델 실험에서 프로브 구축에 내재된 인위적 현상(예: 운동학적 손상 확산)과 진정한 모델의 속성(예: 리아푸노프 지수)을 구별하기 위한 엄격한 테스트를 도입하며, 이전의 상전이 주장이 모델보다는 방법론에 잘못 귀속되었음을 밝혀낸다.

원저자: Nicolás Vera Zúñiga

게시일 2026-08-12

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Nicolás Vera Zúñiga

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

탐정의 딜레마: 도구가 단서가 될 때

당신이 특정 유형의 자동차 엔진이 어떻게 작동하는지 알아내려고 노력하고 있다고 상상해 보십시오. 엔진을 분해할 수는 없기에, 대신 거대하고 자동화된 테스트 트랙을 만듭니다. 자동차의 배기가스를 다시 흡기구로 계속해서 집어넣으며, 엔진이 자신의 배기가스에 어떻게 반응하는지 관찰합니다. 이것은 현대의 "대규모 언어 모델(LLM)"을 다루는 과학자들이 하는 방식과 매우 비슷합니다. 이러한 AI 시스템은 문장에서 다음 단어를 예측하는 초지능 엔진과 같습니다. 연구자들은 종-종 AI가 스스로의 실수를 바로잡거나, 더 깊게 생각하거나, 어려운 문제를 해결할 수 있는지 확인하기 위해 AI의 출력값을 다시 자기 자신에게 입력합니다. 이를 "자기 피드백(self-feeding)" 또는 "반복적 프로빙(iterated probing)"이라고 부릅니다.

하지만 여기에 까다로운 문제가 있습니다. 테스트 트랙을 만들면, 그 트랙 자체에도 규칙이 존재합니다. 예를 들어 트랙이 너무 울퉁불퉁하거나, 바람이 특정 방향으로 불어 차를 흔들리게 할 수도 있습니다. 만약 차가 흔들리는 것을 보았다면, 그것은 엔진이 고장 났기 때문일까요, 아니면 트랙이 울퉁불퉁하기 때문일까요? AI의 세계에서 과학자들은 AI의 '두뇌'에 대해 알려주는 수치라고 가정하며 "AI의 생각이 얼마나 빨리 변하는지" 또는 "답변이 얼마나 안정적인지"와 같은 것들을 측정해 왔습니다. 이 논문은 아주 단순하면서도 무서운 질문을 던집니다. 만약 그 숫자들은 AI에 대한 것이 아니라, 우리가 만든 테스트 트랙에 대한 것을 말해주고 있는 것이라면 어떡할 것인가?

거대한 혼동: AI의 문제인가, 실험의 문제인가?

이 논문에서 연구자 니콜라스 베라 주니가(Nicolás Vera Zúñiga)는 이를 알아내기 위해 매우 구체적이고 약간은 기묘한 실험을 설정합니다. 4096개의 구슬로 이루어진 거대한 원형 목걸이를 상상해 보십시오. 각 구슬은 AI의 어휘 사전에서 가져온 단어(또는 토큰)입니다. AI는 특정 지점 주변의 작은 구슬 창을 보고, 그 구슬이 무엇이 되어야 하는지 추측한 다음, 현재의 구슬을 새로운 추측값으로 교체합니다. AI는 목걸이의 모든 구슬에 대해 이 과정을 반복하며 자신의 이야기를 계속해서 다시 써 내려갑니다. 이는 폐쇄된 루프를 형성하며, AI는 이전의 추측을 바탕으로 끊임없이 자신의 이야기를 재구성합니다.

이를 테스트하기 위해 연구자는 두 개의 동일한 목걸이를 만듭니다. 두 번째 목걸이에서는 시작 단계에서 단 하나의 구슬만 바꿉니다. 그런 다음, 스왑(swap)을 결정하는 데 동일한 난수를 사용하여 두 목걸이를 정확히 똑같은 시뮬레이션에 통과시킵니다. 만약 AI의 "두뇌"가 민감하다면, 이 단 하나의 바뀐 구절이 파급 효과를 일으켜 두 목걸이를 시간이 지남에 따라 점점 더 다르게 만들 것입니다. 이를 "손상 확산(damage spreading)"이라고 합니다. 연구자는 이 손상이 퍼지는 속도( $\lambda_{ca}$ )와 그 손상이 얼마나 살아남는지를 측정합니다.

거대한 반전: 존재하지 않았던 "상전이"

연구자는 충격적인 사실을 발견했습니다. 매우 낮은 "온도"(즉, AI가 매우 확신을 가지고 가장 가능성 높은 단어만을 선택하도록 강제되는 상태)에서 실험을 진행했을 때, 시스템이 갑자기 붕괴되었습니다. 목걸이는 변화를 멈추고 하나의 반복되는 단어(예: "줄바꿈"에 갇힌 고장 난 레코드판처럼)로 얼어붙었습니다. 이것은 물이 순식간에 얼음으로 변하는 것과 유사한 극적인 "상전이(phase transition)"처럼 보였습니다.

연구자는 이 전이를 소수점 세 자리까지 극도로 정밀하게 측정했습니다. 마치 AI의 행동에 대한 새로운 발견인 것처럼 보였습니다. 하지만, 이 논문은 이 전이가 AI가 아닌 실험의 결과임을 증명합니다.

그들이 알게 된 방법은 다음과 같습니다:

대조 테스트: 그들은 구조가 다른 다른 유형의 AI 모델("마스크드 언어 모델")로 똑같은 실험을 수행했습니다. 이 두 번째 모델은 동일한 낮은 온도에서도 결코 얼어붙지 않았습니다.
메커니즘: 그들은 이 결빙 현상이 첫 번째 AI 모델이 단어를 선택하는 방식에 있는 특정한 수학적 "함정" 때문에 발생한다는 것을 깨달았습니다. 이는 마치 공이 깊은 구멍 속으로 굴러떨어지는 것과 같습니다. 일단 빠지면 나올 수 없습니다. 이 구멍은 AI가 특별해서가 아니라, 실험의 규칙(AI가 구슬을 업데이트하는 특정한 방식) 때문에 존재하는 것입니다.
결론: 이 "상전이"는 "제조된" 사건이었습니다. 그것은 자동차가 아니라 테스트 트랙의 속성이었습니다. 연구자는 자신이 AI 물리학의 새로운 법칙을 발견했다고 생각하며 4개월을 보냈으나, 결국 자신이 들고 있는 측정 도구의 특이점을 발견했을 뿐이라는 사실을 깨달았다고 인정합니다.

그렇다면 실험은 무엇을 측정하는가?

만약 "상전이"가 가짜라면, 이 실험은 정말 아무것도 알려주지 못하는 걸까요? 아닙니다. 다만 무엇을 보느냐에 대해 매우 주의해야 합니다. 이 논문은 노이즈와 신호를 구분하기 위해 "판별 테스트(Discriminator Test)"를 도입합니다.

"구조적" 측정값 (노이즈): 손상이 퍼지는 속도( $\lambda_{ca}$ )와 같은 일부 수치는 테스트의 기하학적 구조에 의해 결정됩니다. 창(window)의 크기나 구슬의 순서를 바꾸면 이 수치들은 변합니다. AI 모델을 바꾸더라도 이 수치들은 거의 일정하게 유지됩니다. 이러한 측정값은 AI가 아니라 실험에 대해 말해줍니다.
"모델" 측정값 (신호): "어트랙터 공유(attractor share)"(AI가 특정 단어 하나에 얼마나 안착하는지)와 같은 다른 수치들은 AI 모델을 바꿀 때 실제로 변합니다. 모델을 더 오래 학습시키면 이 수치가 움직입니다. 다른 AI 아키텍처로 교체하면 이 수치가 움직입니다. 이것이 바로 AI의 두뇌에 대해 실제로 알려주는 부분입니다.

"함정"과 철회된 주장들

이 논문은 통계에 속아 넘어가기가 얼마나 쉬운지에 대한 경고이기도 합니다. 연구자는 수학을 제대로 확인하지 않아 잘못된 "발견"을 발표할 뻔했던 네 가지 사례를 나열합니다.

한 번은 유효하기에는 너무 작은 설정에서 "임계점"을 측정했습니다.
실수로 서로 다른 부분에 동일한 난수를 사용하여 결과가 실제보다 더 확실해 보이게 만들었습니다.
실제로는 평탄한 선(분산이 0인 데이터)인 데이터에서 패턴을 찾으려 했고, 이로 인해 상관관계가 실제가 아닌 데이터 정렬 방식의 우연에 의한 것임에도 불구하고 실제처럼 보이게 만들었습니다.

매번, 그들은 동료 검토(peer review)가 아니라, "이미 답을 알고 있는" 테스트(결과가 이미 알려진 시뮬레이션 등)를 실행하여 자신들의 도구가 틀린 답을 내놓는 것을 확인함으로써 실수를 잡아냈습니다.

핵심 요약

이 논문은 우리에게 새로운 초능력을 주는 것이 아닙니다. 대신, 우리에게 새로운 안경을 제공합니다. 우리가 AI에게 자신의 출력값을 다시 입력할 때, 우리는 AI의 실제 지능과 실험의 인위적인 규칙을 혼합하고 있다는 점을 가르쳐줍니다.

주요 교훈은 단순히 숫자를 보고 그것이 AI에 대해 말해준다고 가정해서는 안 된다는 것입니다. 우리는 "통제와 변수"의 게임을 해야 합니다. 만약 AI를 바꿨는데도 숫자가 그대로라면, 그 숫자는 실험에 관한 것입니다. 만약 실험을 바꿨는데도 숫자가 그대로라면, 그 숫자는 AI에 관한 것입니다. 이 논문은 이 분야의 가장 흥격한 "발견" 중 일부가 우리가 바라보고 있는 얼굴이 아니라, 우리가 들고 있는 거울에 비친 모습일 수 있음을 증명합니다. 이는 과학자들에게 겸손할 것, 도구를 확인할 것, 그리고 때때로 우리가 발견하는 가장 흥미로운 것이 자신의 측정 테이프에 있는 결함일 수 있음을 깨달으라는 촉구입니다.

기술 요약: 언어 모델의 반복적 자기 피드백 프로브(Iterated Self-Feeding Probes)가 측정하는 것

문제 정의

언어 모델(LM)의 출력을 다시 입력으로 되먹임하여 자기 일관성(self-consistency), 반복적 정교화(iterated refinement), 에이전트 루프(agentic loops)와 같은 동역학적 시스템을 생성하는 방식의 프로브 방법론이 급증하고 있습니다. 이러한 방법들이 일상적으로 사용되고 있지만, 근본적인 질문은 여전히 해결되지 않은 채 남아 있습니다: 이러한 자기 피드백 프로브의 동역학이 실제로 무엇을 측정하는가?

본 논문은 현재 이러한 프로브로부터 얻은 해석들이 두 가지 서로 다른 정보원을 혼동하고 있다고 주장합니다:

구조 결정적 양(Construction-determined quantities): 프로브의 메커니즘(예: 루프 구조, 리샘플링 규칙, 결합 방법)에서만 발생하는 속성.
모델 결정적 양(Model-determined quantities): 언어 모델 자체에 내재된 속성.

이를 구분할 방법이 없다면, 연구자들은 측정 장치의 인위적인 결과물(artifact)을 모델의 특성으로 오인할 위험이 있습니다. 저자는 특정 사례에서 소수점 셋째 자리까지 정밀하게 측정된 "상전이(phase transition)"를 발견했으나, 그것이 모델이 아닌 프로브의 구조에서 비롯된 것임을 밝혀낸 경험을 보고합니다.

방법론

구조(The Construction)

저자는 프로브와 모델 사이의 혼동을 격리하기 위해 특정 구조를 채택합니다:

상태(State): 주기적 경계 조건을 가진 $N$ 개의 토큰 셀 링(ring).
동역학(Dynamics): 인플레이스(in-place) 리샘플링. 각 단계에서 사이트 $x_i$ 는 온도 $T$ 에서의 모델의 윈도우 조건부 확률 $p(x_i | x_{i \pm r})$ 로부터 리샘플링됩니다. 중심 토큰은 자신의 윈도우로부터 마스킹됩니다.
결합(Coupling): 두 개의 링( $x$ 와 $\tilde{x}$ )을 **공통 난수(Common Random Numbers, CRN)**를 사용하여 진행합니다. 두 링은 $t=0$ 에서 단 하나의 토큰이 뒤집힌 것을 제외하고는 동일합니다. 두 링 모두 동일한 균등 변수 스트림과 동일한 방문 순서를 사용합니다.
귀무가설(Null Hypothesis): CRN 하에서, 만약 두 링의 윈도우가 동일하다면, 이들은 정확히 동일한 토큰을 추출합니다(공유된 균등 분포에 대한 역-CDF 샘플링). 따라서 손상되지 않은 쌍둥이는 정확히 zero만큼의 차이만을 가집니다. 발생하는 모든 발산은 주입된 플립(flip)에 의해서만 설명될 수 있습니다.

측정된 양

$\lambda_{ca}$ (토큰 공간 리아푸노프 지수): 포화(saturation) 전까지 차이가 발생하는 사이트 수( $d_t$ )의 지수적 성장률.
$D_{norm}$ : 독립적인 노이즈 플로어에 의해 정규화된 손상(damage)의 포화 수준.
어트랙터 점유율(Attractor Share): 안정화된 링에서 지배적인 토큰의 점유율.

검증 전략

이 도구는 알려진 정답을 가진 시스템, 구체적으로 도마니-킨젤(Domany–Kinzel) 확률적 셀룰러 오토마타에 대한 재현을 통해 교정됩니다. 저자는 이 구현체가 기초적인 셀룰러 오토마타에 대한 독립적인 예측과 비트 단위로 일치하는 결과를 생성함을 확인한 후, 이를 언어 모델에 적용합니다.

주요 기여

1. 검증된 도구

저자는 프로브의 기하학적 구조와 모델의 행동을 구분하는 교정된 도구를 제공합니다. 이 도구는 도마니-킨젤 데미지 필드를 정확히 재현하고 기초적인 셀룰러 오토마타의 알려진 전이 행렬을 회복함으로써 검증되었습니다.

2. "제조된" 상전이의 식별

저자는 임계 온도 $T_c \in [0.4343, 0.4391]$ 에서 프로브의 동역학 내에 날카로운 흡수 상태 전이(absorbing-state transition)가 있음을 발견했습니다.

성격: 이 전이는 모델이 아닌 프로브의 속성입니다.
메커니즘: 이는 자기회귀적(autoregressive) 구조의 argmax 맵에서의 끌개 고정점(attracting fixed point)에서 기인하며(특히 Pythia-410m 같은 모델의 경우), 저온에서는 격자가 단일 토큰(예: 줄바꿈 문자)으로 붕괴하게 만듭니다.
증거: 이 전이는 구조를 변경하면(예: 그러한 고정점이 없는 masked-LM 구조 사용) 사라지지만, 19개의 서로 다른 모델과 스케일 래더(70배 변이)에 걸쳐 지속됩니다.

3. 판별 테스트(The Discriminator Test)

논문은 구조 결정적 양과 모델 결정적 양을 분리하기 위한 엄격한 테스트를 도입합니다:

테스트: 한 요소(구조 또는 모델)를 고정한 채 다른 요소를 변화시킵니다.
기준: 만약 구조가 변할 때 측정값이 움직이지만 모델이 변할 때 고정되어 있다면, 그것은 구조 결정적입니다. 만약 모델이 변할 때 측정값이 움직이지만 구조가 변할 때 고정되어 있다면, 그것은 모델 결정적입니다.
적용:
- 구조 결정적: 데미지 라이트 콘(damage light cone, 운동학적 특성) 및 $\lambda_{ca}$ 의 반경 스케일링(모델 불변적).
- 모델 결정적: 어트랙터 점유율은 서로 다른 구조에서도 모델들을 일관되게 순위 매깁니다.
- 발달적(Developmental): $\lambda_{ca}$ 는 단일 모델의 훈련 궤적을 추적하지만(재현 가능한 지점에서 zero를 통과), 서로 다른 모델 패밀리 간의 구분을 실패합니다.

4. 추정치 게이팅 및 철회된 결론

저자는 추정치가 변할 여지가 없는 양(예: 포화된 예측값, zero로 취급된 정의되지 않은 값, 또는 상관관계가 있는 복제본)에 적용되었을 때 확신에 찬 그러나 잘못된 숫자를 생성한 네 가지 철회된 결론 사례를 보고합니다. 저자는 이러한 오류를 방지하기 위해 "가드(guards)" 패키지(예: 동적 범위 체크, 노이즈 게이트, tie-aware 랭킹 등)를 함께 공개합니다.

결과

프로브 아티팩트: 자기회귀 모델에서 관찰되는 "상전이"는 프로브의 기하학적 구조(구체적으로 argmax 맵의 고정점)에서 비롯된 아티팩트입니다. 이는 재현 가능하지만 모델의 능력에 대한 어떠한 정보도 담고 있지 않습니다.
모델 민감도:
- $\lambda_{ca}$ : 발달적 전이(훈련 중 zero를 통과함)를 보여주지만, 서로 다른 아키텍처와 스케일 간에는 **모델 불변적(model-invariant)**입니다. 따라서 서로 다른 모델을 비교하는 신뢰할 수 있는 지표가 되지 못합니다.
- 어트랙터 점유율: 이 지표는 모델 패밀리(예: RWKV vs. Attention 모델)를 성공적으로 구분하며, 프로브의 구조(반경, 온도) 변화에도 견고합니다.
절제(Ablation) 반응: 내부 구성 요소(예: 어텐션 블록)를 제거하면 동역학이 변하며, 이는 도구가 모델을 읽고 있음을 확인시켜 줍니다. 그러나 그 반응은 비단조적(non-monotonic)이며 참조 상태(reference state)에 따라 달라지므로, 단순한 인과 관계보다는 복잡한 통계적 관계를 나타냅니다.
예측력: 어트랙터 점유율은 지시 이행 실패를 예측하는 반면, 발달적 전이( $\lambda_{ca}$ )는 그렇지 않습니다. 반대로, $\lambda_{ca}$ (다양성을 통해)는 탐욕적 퇴화(greedy degeneration)를 예측하지만, 어트랙터 점유율은 그렇지 않습니다.

의의 및 주장

본 논문은 반복적 자기 피드백 프로브가 구조와 모델의 혼합물을 측정한다고 주장하며, 이 두 성분은 육안으로는 구분이 불가능하다고 말합니다.

주장의 겸손함: 저자는 이것이 해석 가능성(interpretability) 결과가 아님을 명시합니다. $\lambda_{ca}$ 가 특정 내부 메커니즘을 국소화한다고 주장하는 것이 아닙니다. 대신, 이들의 기여는 **측정(measurement)**에 있습니다: 이 프로브가 무엇을 읽고, 무엇을 읽지 못하며, 어떻게 둘을 구분하는지를 정의하는 것입니다.
핵리 인사이트: 어떤 도구는 특정 유형의 비교(예: 단일 모델의 훈련 추적)에는 유효하지만, 다른 유형의 비교(예: 서로 다른 모델 패밀리 간의 비교)에는 공허할 수 있습니다.
방법론적 전환: 저자는 자기 피드백 루프에서 파생된 양들이 언어 모델의 속성으로 해석되기 전에 반드시 "판별 테스트"(구조 vs 모델 변이)를 거쳐야 한다고 주장합니다.
재현성: 모든 코드, 데이터, 피규어 스크립트는 피규어가 생성된 코드를 넘어 생존할 수 없도록 엄격한 추적성(SHA-256 해싱)과 함께 공개됩니다.

논문은 "도구가 자기 자신을 측정한다"는 깔끔한 요약은 틀렸다고 결론짓습니다. 도구는 모델을 읽지만, 동시에 프로브 또한 매우 정밀하게 읽습니다. 이 둘을 구분하지 못했을 때 치러야 할 대가는 모델의 특성으로 오인되는 프로브의 아티팩트(예: 제조된 상전이)를 분석하는 것입니다.