💬 NLP

Order Is Not Control

이 논문은 질서를 유도하는 개입이 통제와 동일한 것은 아니라고 주장하며, 대신 진정한 통제는 국소적이고 상태 의존적인 연산자가 동력이 허용된 움직임, 저항 또는 과구동으로 이어질지 여부를 결정하는 수신자 게이트형 반응 법칙을 필요로 한다고 제안하며, 이러한 프레임워크는 생물학적 체계와 대규모 언어 모델 전반에 걸친 실증적 증거를 통해 검증되었다.

원저자: Gareth Seneque, Lap-Hang Ho, Nafise Erfanian Saeedi, Jeffrey Molendijk, Tim Elson

게시일 2026-06-12

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Gareth Seneque, Lap-Hang Ho, Nafise Erfanian Saeedi, Jeffrey Molendijk, Tim Elson

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

핵심 아이디어: 그네를 밀기 vs. 그네를 흔들게 만들기

아이가 탄 그네를 더 높이 올라가게 하려고 노력하는 상황을 상상해 보세요.

**질서(Order)**는 단순히 아이가 그네에 앉아 있는 상태입니다.
**제어(Control)**는 그네의 체인을 끊거나 아이를 떨어뜨리지 않고 성공적으로 그네를 더 높이 움직이게 만드는 것입니다.

저자들은 AI(거대 언어 모델 등)와 생물학(뇌와 같은) 모두에서 우리가 질서와 제어를 자주 혼동한다고 주장합니다. 우리는 특정한 프롬프트, 생물학적 신호, 또는 코드 조각이 어떤 구조나 "질서"를 만들어내는 것을 봅니다. 하지만 그것이 곧 우리가 제어를 갖게 되었다는 뜻은 아닙니다.

진정한 제어는 시스템을 밀었을 때, 시스템이 손상을 입히거나, 망가지거나, 갇혀버리지 않고 정확히 당신이 원하는 곳으로 움직일 때만 일어납니다.

핵심 개념: "수신자 게이트형(Receiver-Gated)" 법칙

이 논문은 무엇을 제어로 간주할 것인지에 대한 엄격한 규칙을 도입합니다. 그들은 이를 **수신자 게이트형 반응 법칙(Receiver-Gated Response Law)**이라고 부릅니다.

시스템(AI 또는 뇌)을 하나의 집이라고 생각해 보세요.

드라이브(Drive/자극): 이것은 당신이 문을 두드리는 것입니다 (프롬프트, 생물학적 신호, 또는 명령).
매질(Medium): 이것은 집 그 자체입니다 (AI 모델, 생물학적 조직, 또는 어댑터 소프트웨어). 어떤 집은 문이 열려 있고, 어떤 집은 문이 잠겨 있으며, 어떤 집은 함정이 있습니다.
수신자(Receiver): 이것은 집 안에 있는 사람으로, 당신을 들여보내 줄지 말지를 결정합니다.
게이트(Gate/문): 문입니다.

규칙: 당신이 "제어"를 갖게 되는 조건은 다음과 같습니다:

당신이 문을 두드려야 합니다 (드라이브를 가함).
집 안의 사람(수신자)이 실제로 당신을 들여보내고 특정 방(목표 결과)으로 이동해야 합니다.
당신이 문을 부수거나, 집을 태우거나, 쫓겨나지 않아야 합니다 (손상 없음, "무효" 응답 없음, "과부하" 없음).

당신이 문을 두드렸는데 집이 당신을 무시하거나, 혹은 문을 두드렸더니 집에 불이 난다면, 당신이 아무리 큰 소리를 냈더라도(질서를 만들었더라도) 당신은 제어를 갖지 못한 것입니다.

실험: 집 테스트하기

저자들은 이 법칙이 동일하게 적용되는지 확인하기 위해 세 가지 다른 유형의 "집"을 대상으로 테스트를 진행했습니다.

1. 생물학적 집 (실제 뇌)

그들은 쥐, 벌레, 물고기를 관찰했습니다. 그들의 뇌 특정 부위에 전기적 또는 화학적 "노크(자극)"를 가했습니다.

결과: 뇌에는 예측 가능한 "반응 법칙"이 있다는 것을 발견했습니다. 때로는 노크가 근육의 움직임을 만듭니다 (문이 열림). 때로는 아무 일도 일어나지 않습니다 (문이 잠김). 때로는 경련을 일으킵니다 (집에 불이 남).
시사점: 생물학도 이 법칙을 따르지만, 그렇다고 해서 단순히 어느 전선을 건드려야 하는지를 안다고 해서 벌레를 완벽하게 제어할 수 있다는 뜻은 아닙니다. 그것은 전적으로 그 순간 벌레의 상태에 달려 있습니다.

2. AI 집 (언어 모델)

그들은 AI 모델에게 다양한 프롬프트(노크)를 주고 그들이 무엇을 쓰는지(움직임)를 테스트했습니다.

결과: 조건을 동일하게 유지한다면 AI의 응답은 예측 가능하다는 것을 발견했습니다. 특정한 방식으로 질문하면 AI는 특정 방향으로 움직입니다.
주의점: 너무 강하게 밀어붙이면 (너무 많은 질문을 하거나 매우 강력한 프롬프트를 사용하면), AI가 환각을 일으키거나, 답변을 거부하거나, 횡설수설할 수 있습니다. 이것을 "과부하(overdrive)" 또는 "싱크 라우팅(sink routing)"이라고 합니다.
예측: 그들은 AI가 어느 방향으로 움직일지(예: "더 도움이 되는 방향으로 움직일 것이다")를 약 73~84%의 확률로 예측할 수 있었지만, 부작용 없이 매번 정확히 원하는 대로 수행하도록 보장할 수는 없었습니다.

3. "준비된 매질" (리모델링)

그들은 "어댑터"(AI가 생각하는 방식을 바꾸는 작은 소프트웨어 업데이트)를 테스트했습니다. 그들은 이것을 집을 리모델링하는 것처럼 취급했습니다.

결과: AI의 훈련(집을 리모델링하는 것)을 바꾸는 것은 문이 얼마나 쉽게 열리는지를 변화시킵니다. 어떤 리모델링은 집을 특정 요청에 더 환영하는 분위기로 만들고, 어떤 리모델링은 집을 더 고집스럽게 만듭니다.
시사점: 리모델링은 감수성(susceptibility) (얼마나 쉽게 들어갈 수 있는지)을 변화시키지만, 그것이 결과에 대한 제어를 보장하지는 않습니다. 여전히 올바르게 문을 두드려야 합니다.

"컨트롤러(제어기)" 문제: 왜 아직 "조종"할 수 없는가?

논문은 우리가 이러한 법칙을 관찰하고 무엇이 일어날지 예측할 수는 있지만, 아직 **컨트롤러(제어기)**를 가지고 있지는 않다고 결론짓습니다.

관찰: "여기서 밀면, AI는 보통 저쪽으로 움직인다"라는 것을 우리는 볼 수 있습니다.
예측: 우리는 높은 정확도로 결과를 추측할 수 있습니다.
제어: 제어를 갖기 위해서는 다음과 같이 말하는 시스템이 필요합니다: "현재 AI가 '취약한' 상태이다. 지금 밀면 망가질 것이다. 그러니 기다리겠다. 만약 '준비된' 상태라면, 살살 밀겠다."

저자들은 이러한 "취약한" 상태와 "준비된" 상태를 식별할 수는 있지만, 실수 없이 실시간으로 적절한 행동을 선택할 수 있는 시스템은 아직 구축하지 못했다고 밝혔습니다. 우리는 지도를 가지고 있지만, 아직 완벽한 운전자는 없습니다.

요약: 그들이 주장하는 것 (그리고 주장하지 않는 것)

그들이 증명한 것:

질서(구조)는 제어(원하는 결과를 얻는 것)와 같지 않습니다.
제어는 행동을 받아들이고 손상을 입히지 않는 "수신자"를 필요로 합니다.
이 법칙은 생물학적 뇌와 AI 모두에 적용됩니다.
우리는 이러한 시스템이 밀기에 어떻게 반응할지 예측할 수 있지만, 그 반응은 시스템과 환경의 현재 상태에 크게 의존합니다.

그들이 증명하지 않은 것:

AI나 생물을 완벽하게 제어할 수 있다는 것을 증명하지 않았습니다.
시스템에 작성된 "원칙"이나 "규칙"이 자동으로 안전이나 정렬(alignment)을 보장한다는 것을 증명하지 않았습니다.
AI와 생물이 근본적으로 "같은 것"이라고 주장한 것이 아닙니다. 단지 그들이 "반응하는 규칙"을 공유할 뿐이라고 했습니다.

마지막 비유: 정원사

AI나 뇌를 정원이라고 생각해 보세요.

질서는 단순히 식물이 자라는 것입니다.
제어는 식물을 죽이지 않고, 당신이 원하는 모양대로, 원하는 위치에 정확히 자라게 만드는 것입니다.

이 논문은 다음과 같이 말합니다: "우리는 물과 햇빛이 이 식물들에 어떤 영향을 미치는지에 대한 법칙을 알아냈습니다. 물이 너무 많으면 식물이 익사하고, 너무 적으면 굶주린다는 것도 압니다. 우리는 특정 양의 물에 식물이 어떻게 반응할지 예측할 수 있습니다. 하지만 우리는 모든 식물을 하나하나 살펴보고, 지금 당장 물이 얼마나 필요한지 결정하여, 단 한 번의 실수 없이 완벽하게 물을 줄 수 있는 로봇 정원사를 아직 갖추지 못했습니다."

우리는 정원에 대한 과학을 가지고 있지만, 완벽한 정원사는 여전히 만들어가는 중입니다.

기술 요약: 질서는 통제가 아니다 – 인공 및 생물학적 시스템 전반의 구동-소산 응답 법칙

문제 제기
본 논문은 적응형 시스템(생물학적 및 인공적 모두) 연구에서 발생하는 근본적인 혼동, 즉 '질서'(구조, 숨겨진 상태의 이동, 또는 출력의 규칙성)의 유도와 '통제'(대상 결과의 신뢰할 수 있고 유계된 움직임)의 확립 사이의 혼동을 다룬다. 현재의 정렬(alignment) 및 해석 가능성(interpretability) 연구는 종종 '질서 유도 객체'(프롬프트, 원칙, 활성화 편집, 어댑터)를 식별하지만, 이러한 객체가 수신자가 허용하는 행동 변화를 생성하는지, 아니면 단순히 원하는 결과로 이어지지 않는 내부 재구성을 유도하는 것인지 구분하지 못한다. 핵심적인 과학적 문제는 질서, 응답 증거, 그리고 국소적 통제를 별개의 경험적 범주로 분리하는 것이다.

방법론 및 프레ק워크
저자들은 구동-소산(driven-dissipative) 및 확률 열역학 어휘에 기초한 수신자 게이트 응답 법칙(receiver-gated response law) 프레임워크를 제안한다. 통제는 개입의 존재가 아니라 특정 조건에 의해 정의된다: 유한한 개입 노력이 일치하는 분모 하에서 타겟 응답 클래스를 이동시키면서도, 손상(damage), 무효/회피 응답, 부적절한 형식, 그리고 불필요한 노력(sink)을 유계(bounded) 상태로 유지해야 한다.

응답 커널(The Response Kernel): 경험적 객체는 분모 조건화된 확률 응답 커널 $P_\delta(dy | s, a)$ 이다. 여기서 $\delta$ 는 조건들의 튜플(태스크, 매질, 욕조(bath), 수신자, 분지 규칙, 비교자)을 나타낸다. 커널은 물질적 상태( $s$ )와 작용/구동( $a$ )을 응답 변위, 싱크 채널, 선언된 노력에 대한 분포로 매핑한다.
분모 인덱싱(Denominator-Indexing): 모든 측정은 엄격하게 분모 $\delta$ 에 의해 인덱싱된다. 구동(drive)이 통제의 증거가 되려면, 동일한 분모 $\delta$ 하에서 측정된 수신자를 이동시켜야 한다. 프롬프트, 모델 상태, 디코딩 설정 또는 생물학적 프로토콜을 변경하는 것은 분모를 변경하는 것이며, 이는 통제 법칙을 확립하기 위한 교차 분모 비교를 무효화한다.
증거 계층(Evidence Hierarchy): 본 논문은 다음과 같은 증거 계층을 확립한다:
1. 질서(Order): 유도된 구조 또는 숨겨된 움직임.
2. 응답 증거(Response Evidence): 일치된 조건 하에서 선언된 응답 클래스 내의 재현 가능한 움직임.
3. 국소적 통제(Local Control): 부수 효과의 경계를 유지하면서 타겟을 이동시키는 유한한 노력.
4. 컨트롤러 경계(Controller Boundary): 측정 가능한 기회가 있음에도 불구하고 예비적 작용 허용이 실패하는 한계점.

실험 패널 및 결과
본 연구는 네 가지 상호 보완적인 증거 영역에 걸쳐 이 프레임워크를 검증한다:

생물학적 응답 연산자 (물리적 기질):
- 기질: 생쥐 전외측 운동(ALM) 피질, C. elegans, 그리고 제브라피시 유생.
- 방법: 홀드아웃(held-out) 프로토콜 하에서의 팝퓰레이션 응답 벡터 및 신경 섭동 전파를 측정함.
- 결과: ALM(0.716), worm(0.597), zebrafish(0.577)의 홀드아웃 부호 정확도를 통해 측정 가능한 응답-연산자 구조를 입증함.
- 한계: 물리적 응답-연산자 구조를 지지하지만, 좌표 항등성이나 보편적 생물학적 통제는 명시적으로 제외함.
생성된 출력 응답 법칙 (LLM):
- 방법: 고정된 프롬프트, 디코드 욕조(decode baths), 루브릭 하에서의 동결된 완료 문장을 분석함. 가시적 의미장(visible semantic fields)과 유한한 작용 프로브를 테스트함.
- 결과: 가시적 장(fields)이 생성된 출력 분지(예: 타겟 비율 1.000 vs 베이스라인 0.117)를 이동시킬 수 있음을 보여주었으나, 비단조적 노력 반응을 보임: 더 강한 장이나 더 높은 예산은 종종 노력을 손상이나 무효 싱크(과부하)로 유도함.
- 핵심 발견: 응답 벡터는 예측 가능하지만(성분 부호 정확도 72.8~~73.7%, 비제로 성분에 대해 84.3~~84.8%), 이것이 행 단위의 로컬 타겟 통제와 동일한 것은 아님.
준비된 매질 응답 (어댑터):
- 방법: 동결된 베이스 모델과 헌법 조건부 LoRA 어댑터(편집 원칙, NIST 스타일, 무작위 널)를 비교함.
- 결과: 어댑터는 자율적인 컨트롤러로 작용하기보다 민감도(위상 지원, 궤적 길이, 형식 수용성)를 재형성하는 "준비된 매질"로서 작용함.
- 핵심 발견: 준비된 매질은 "수리 포켓(repair pockets)"(예: 형식 부적절성 감소)을 노출할 수 있으나, 보편적인 어댑터 통제나 언어-인과적 정렬을 확립하지는 못함.
예측 연산자 및 컨트롤러 경계:
- 관찰자 예측: 비-엔드포인트 관찰자는 홀드아웃 시스템 효과 및 타겟/오라클 라벨을 높은 정확도로 예측함(각각 93.6% 및 91.7%).
- 국소적 허용 통제: 로컬 작용이 싱크를 제한하며 타겟을 성공적으로 이동시킨 "클린 포켓(clean pockets)"을 식별함(1,146개의 클린-포지티브 셀).
- 확률적 허용 실패: 측정 가능한 오라클 헤드룸과 사후적 기회에도 불구하고, 예비적 작용 허용은 실패함(0/104 캡처). 선택된 정책들은 적절한 상태에서 적절한 작용을 신뢰성 있게 선택할 수 없었음.

주요 기여

응답 체인 기준: 수신자가 허용하는 움직임과 일치하는 분모 하의 유계된 싱크를 기반으로 질서, 응답 증로, 통제를 구분하는 공식적인 조작적 정의를 제공함.
교차 기질 매핑: 생물학적, LLM, 어댑터 시스템이 원시 좌표 항등성을 요구하지 않으면서도 동일한 분모 인덱스 응답-법칙 구조를 구현함을 입증함.
구동-소산 설명: 정렬을 구동이 준비된 매질과 욕조를 통해 작용하여 허용된 움직임, 임피던스 또는 싱크를 생성하는 개방형 시스템 규제 문제로 재구성함.
명시적 한계: 측정 가능한 응답 연산자와 배치 가능한 컨트롤러 사이의 경계를 명확히 하여, 응답 벡터는 예측 가능하고 로컬 수리가 가능하지만, 배포 등급의 컨트롤러(홀드아웃 상태 전반에서 작용을 신뢰성 있게 선택하는 정책)는 아직 확립되지 않았음을 보여줌.

의의 및 주장
본 논문은 질서는 통제가 아니다라고 주장한다. 정렬 개입(원칙, 프로프트, 어댑터, 스티어링)은 특정 분모 하에서 수신자가 허용하는 유계된 움직임을 생성할 때만 통제로서 유효하다고 상정한다.

겸손한 주장: 저자들은 보편적 통제, 생물학적/인공적 시스템 간의 좌표 항등성, 또는 수신자 검증 없이 은닉 상태/로짓 개입이 행동 통제에 충분하다는 주장을 하지 않음을 명시한다.
의의: 본 연구는 메조스코픽(mesoscopic) 제어 수준의 설명을 제공하여 통제 문제를 명확히 한다: 상태를 추정하고, 유지 또는 허용된 작용을 선택하며, 싱크와 노력 채널이 유계된 상태에서 수신자 움직임을 검증하는 것이다. 이는 단순히 "질서를 유도하는 것"에서 "허용된 응답 법칙을 측정하는 것"으로 초점을 전환하며, 응답 벡터는 예측 가능하고 로컬 수리는 가능하지만, 배포 가능한 컨트롤러(홀드아웃 상태 전반에서 작용을 신뢰성 있게 선택하는 정책)는 아직 구축되지 않았음을 밝힌다.

결론적으로, 본 논문은 정렬을 보편적인 정렬 점수나 은닉 상태의 충분성을 찾는 과정이 아니라, 관찰자 좌표, 후보 액추에이터, 그리고 검증 게이트를 분리해야 하는 상태 조건부 응답 신뢰성 문제로 정의한다.