💻 computer science

LLMs Know the Constraint But Do Not Use It: Activation Bottlenecks in Pragmatic Constraint Reasoning

이 논문은 LLM이 암묵적 실행 가능성 제약 조건을 준수하지 못하는 원인이 지식의 부족이 아니라, 인코딩된 제약 조건이 의사 결정 과정에서 일관되게 활성화되지 않는 라우팅 병목 현상에 기인하며, 이는 프롬프트 기반 개입으로는 극복할 수 없으나 표적 활성화 패칭(targeted activation patching)을 통해 부분적으로 복구될 수 있다고 주장한다.

원저자: Yubo Li, Ramayya Krishnan, Rema Padman

게시일 2026-08-14

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yubo Li, Ramayya Krishnan, Rema Padman

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 초지능 로봇에게 의사결정 내리는 법을 가르치려 한다고 상상해 보세요. 당신은 로봇이 세상에 대해 거의 모든 것을 알 수 있도록 방대한 책 도서관을 제공했습니다. 그러고 나서 당신은 까다로운 질문을 던집니다. "나는 내 차를 세차하고 싶은데, 세차장은 50미터 거리에 있어. 걸어갈까, 아니로 운전해서 갈까?" 인간이라면 즉시 이렇게 깨달을 것입니다. "잠깐, 운전하려면 차가 거기 있어야 하잖아!" 하지만 이 로봇은 자동차에 관한 모든 책을 읽었음에도 불구하고, "자동차"라는 단어와 "운전하다"라는 단어를 보고 "오, 매칭되는구나!"라고 생각하며 자신 있게 "운전해!"라고 말할 수도 있습니다.

이 논문은 **대규모 언어 모델(LLM)**이라고 불리는 인공지능의 특정 영역을 깊이 파고듭니다. 이들은 대화를 나누고, 이야기를 쓰고, 문제를 해결하는 똑똑한 AI 시스템들입니다. 연구자들이 풀고자 하는 거대한 미스터리는 무언가를 **아는 것(knowing)**과 그것을 **사용하는 것(using)**의 차이입니다. 이것은 마치 게임의 모든 규칙을 통째로 암기했지만, 막상 게임을 할 때는 보드 위의 반짝이는 말들에 정신이 팔려 규칙을 계속 까먹는 학생과 같습니다. 과학자들은 오랫동안 이 AI들이 논리의 숨겨진 규칙을 '알고'는 있지만, 상황이 까다로워지면 이를 적용하는 데 실패한다고 의심해 왔습니다. 이는 우리가 AI가 의사, 운전자 등을 돕는 것처럼 현실 세계에서 안전하고 신뢰할 수 있게 만들기를 원한다면, AI가 실제로 생각하고 있는 것인지 아니면 단순히 표면적인 단서에 기반해 추측하고 있는 것인지를 알아야 하기 때문에 매우 중요합니다.

이 연구를 진행한 연구자들은 AI가 이러한 실수를 저지를 때 그들의 "두뇌" 속에서 정확히 어떤 일이 일어나는지 알아내기 위해 14개의 서로 다른 AI 모델을 대상으로 영리한 탐정 놀이를 시작했습니다. 그들은 "쿼텟(quartet)"이라 불리는 네 가지 시나리오를 사용하여 정교한 실험을 설계했습니다. 같은 이야기의 네 가지 버전이라고 상상해 보세요. 하나는 숨겨진 규칙이 존재하는 경우(차가 없는 상태), 하나는 규칙이 제거된 경우(차가 마법처럼 존재하는 상태), 하나는 규칙이 크게 외쳐지는 경우("기억해, 차가 없어!"라고 말함), 그리고 마지막은 AI가 단순히 긴 이야기를 좋아하는지 확인하기 위해 동일한 길이의 무작위 문장을 추가한 경우입니다.

여기서 그들이 발견한 반전이 있습니다: AI는 멍청한 것이 아니라, 그저 주의가 산만한 것입니다. 더 중요한 것은, 연구자들은 AI의 "주의 산만"이 두 가지 매우 다른 방식으로 일러난다는 것을 발견했습니다.

연구자들이 AI의 "두뇌"(데이터의 숨겨진 층) 내부를 들여다보았을 때, AI는 실제로 그 규칙을 알고 있었습니다. 연구자들은 AI의 내부 생각을 읽고 "네, 차가 없습니다!"라고 88%에서 94%의 정확도로 말할 수 있는 간단한 탐지기를 구축할 수 있었습니다. 지식은 마치 책상 위에 놓인 사실처럼, 모델의 처리 과정 중간에 그대로 자리 잡고 있었습니다.

하지만 문제는 AI가 최종 결정을 내려야 할 때 그 지식을 사용하지 않는다는 점입니다. 이것은 마치 도로가 폐쇄되었다는 것을 알고 있는 GPS를 가진 운전자가, GPS를 무시하고 그냥 계속 운전하는 것과 같습니다. 연구자들은 이를 **라우팅 문제(routing problem)**라고 부릅니다. 정보는 존재하지만, 정답으로 가는 경로가 막혀 있거나 무시되는 것입니다.

결정적으로, 그들은 서로 다른 방식으로 실패하는 두 종류의 로봇을 발견했습니다:

"과잉 활성" 로봇들: 일부 모델(Llama-4 및 Claude Opus 등)은 너무 안전해지려는 욕심이 강해서, 제약 조건이 부재할 때도 제약이 많은 답변(예: "걷기")을 적용합니다. 만약 이야기에서 차를 제거하더라도, 그들은 여전히 "걷기"라고 말합니다. 왜냐하면 그들은 '안전한' 답변에 편향되어 있기 때문입니다. 그들은 규칙을 알고 있지만, 규칙이 존재하지 않을 때 그것을 끄는 법을 몰라서, 존재하지 않는 규칙을 적용함으로써 논리 테스트에서 실패하게 됩니다.
"저활성" 로봇들: 다른 모델들(GPT-OSS 등)은 규칙이 있을 때조차 규칙을 적용하지 못합니다. 그들은 차가 없다는 것을 보았음에도 여 still "운전하기"라고 말합니다. 그들은 규칙이 거기 있다는 것을 알지만, 내부 배선이 너무 심하게 고장 나서 그 지식이 결정 버튼에 전혀 도달하지 못합니다.

그들은 이를 확인하기 위해 "활성화 패칭(activation patching)"이라는 기법을 테스트했습니다. 만약 당신이 AI가 규칙을 기억했던 순간(예: 규칙을 크게 외쳐주었을 때)의 "생각"을 가져와서, 규칙을 잊어버렸던 순간에 직접 붙여넣을 수 있다고 상상해 보세요. 균형 잡힌(balanced) 모델들(Qwen3-14B 등)의 경우, 이 마법 같은 붙여넣기는 완벽하게 작동했습니다! AI는 갑자기 정답을 맞혔고, 이는 지식이 그곳에 있었으며 단지 정답으로 가기 위한 자극이 필요했을 뿐이라는 것을 증명했습니다. 하지만 저활성 모델들의 경우, 이 붙여넣기는 아무런 효과가 없었습니다. 비록 그들이 규칙을 알고 있었음에도 불구하고, 내부 배선이 너무 망가져 있어서 그 지식이 결정 버튼에 도달하는 것을 막고 있었습니다. (참고: 연구자들은 이 패칭을 "과잉 활성" 그룹에 대해서는 테스트하지 않았으므로, 붙여넣기가 그들을 고칠 수 있을지는 알 수 없습니다.)

또한 연구자들은 사람들이 AI의 실수를 바로잡기 위해 사용하는 가장 대중적인 방법들, 즉 AI에게 "단계별로 생각하라"거나 "전제 조건을 나열하라"고 요청하는 방식들을 테스트했습니다. 결과는 놀라웠습니다: 이러한 기술 중 그 어떤 것도 문제를 해결하지 못했습니다. 오히려, 이 기술들은 AI가 규칙이 적용되지 않아야 할 때조차 "안전한" 답변(예: "걷기")을 선택하도록 유도하여 문제를 더 악화시켰습니다. AI에게 "더 깊이 생각하라"고 말하면, AI는 더 열심히 생각하는 것이 아니라 단지 그 규칙을 언급하는 데 더 목소리를 높일 뿐이라는 것이 드러났습니다. 이는 마치 학생에게 "풀이 과정을 보여달라"고 말했을 때, 규칙이 상관없는 모든 줄에도 그 규칙을 적어 내려가는 것과 같습니다.

요약하자면, 이 논문은 실패의 원인이 AI의 지식 부족 때문이 아니라고 제안합니다. 그것은 AI의 "라우팅 병목 현상(routing bottleneck)" 때문입니다. AI는 진실을 알고 있지만, 언제 그 진실이 자신의 답변을 인도하게 할지를 결정하지 못합니다. 현재의 방식처럼 단순히 AI에게 "더 노력하라"거나 "더 많이 생각하라"고 요구하는 것은 고장 난 배선을 고치는 것이 아니라, AI가 틀린 추측을 더 확신 있게 하도록 만들 뿐입니다. 이를 진정으로 해결하려면, AI가 아는 것과 그것이 말하기로 결정하는 것을 연결하는 내부 경로를 재구축해야 하며, 너무 의욕적인 로봇과 너무 수동적인 로봇을 위한 서로 다른 해결책이 필요합니다.

기술 요약: 실용적 제약 추론에서의 활성화 병목 현상

문제 정의

대규모 언어 모델(LLM)은 표면적인 단서가 다른 행동을 암시할 때 암묵적인 타당성 제약을 적용하는 데 자주 실패한다. 전형적인 예로, 세차장 시나리오에서 모델이 자동차가 존재해야 한다는 암묵적 제약을 무시하고 "걷다"라고 답하는 경우가 있다. 총체적인 정확도 지표는 정답을 보상하기도 하지만, 이는 진정한 추론(hidden constraint의 추론)과 보수적 기본값 설정(unrelated한 이유로 안전한 옵션을 선택하는 것)이라는 두 가지 구별되는 행동을 혼동한다.

이전 연구들은 이러한 실패가 광범위하다는 점을 입증했으나, 이것이 진정한 제약 추론인지 아니면 안전한 옵션으로의 편향인지는 모호하게 남겨두었다. 본 논문은 숨겨진 제약에 의한 실패가 지식의 문제가 아니라 주로 라우팅(routing) 문제라고 주장한다. 모델은 내부적으로 제약 정보를 보유하고 있는 경우가 많지만, 이를 최종 의사결정 과정으로 라우팅하는 데 실패한다.

방법론

저자들은 네 가지 검증 가능한 조건(K, S, R, P)을 통해 **조건부 제약 활성화(conditional constraint activation)**를 공식화하고, 이를 "쿼텟 진단(quartet diagnostic)"과 기계론적 개입을 통해 구체화한다:

쿼텟 진단 (The Quartet Diagnostic): 각 시나리오에 대해 네 가지 조건을 구성한다:
- ACTIVE: 암묵적 제약이 포함된 원래의 시나리오.
- REMOVED: 제약은 제거되었으나 표면적 단서는 남아 있는 반사실적 상황.
- EXPLICIT: 제약이 선언적인 문장으로 명시된 경우.
- SALIENCE CONTROL: 제약 단서를 길이와 프레임이 일치하는 중립적인 채움 문구로 대체한 경우.
- 지표: 보수적 편향 지수(Conservative Bias Index, CBI) ( $Acc_{Active} - Acc_{Removed}$ )는 과활성화(높은 CBI)와 저활성화(낮거나 음수인 CBI)를 구분한다.
기계론적 프로브 (K, S, R):
- 지식 (Knowledge, K): 은닉 상태(hidden states)에 대한 선형 프로브를 통해 제약의 존재 여부를 디코딩한다.
- 대칭성 (Symmetry, S): 프로브 정확도가 ACTIVE와 REMOVED 프롬프트 사이에서 대칭을 이루는지 테스트한다.
- 라우팅 (Routing, R): 프로브로 투영된 크기(magnitude)와 결정 로짓 차이(decision logit gap) 사이의 상관관계를 측정한다.
활성화 패칭 (Activation Patching, P): EXPLICIT 프롬프트(기증자)의 은닉 상태를 프로브의 최적 레이어에서 실패하는 ACTIVE 또는 REMOVED 프롬프트(수신자)의 은닉 상태에 패칭하여, 제약 방향이 의사결정을 인과적으로 변화시키는지 테스트한다.
완화 경계 (Mitigation Frontier): 네 가지 프롬프팅 전략(Chain-of-Thought, 전제 조건 나열, 목표 분해, 반사실적 점검)을 Active Gain(ACTIVE 항목에서의 개선) 대 Pair Harm(REMOVED 항목에서의 저하)의 2차원 경계 상에서 평가한다.
모델: 14개의 모델(프런티어 API 모델 및 오픈 웨이트 모델 포함)을 평가하며, 두 가지 오픈 웨이트 모델인 Qwen3-14B(균형 잡힌 동작)와 GPT-OSS-20B(저활성화)에 대해 심층적인 기계론적 분석을 수행한다.

주요 결과

1. 두 가지 뚜렷한 실패 모드

14개 모델에 대한 분석 결과, CBI에 따라 두 집단으로 나뉜다:

과활성화 (7개 모델): 모델들(예: Llama-4, Claude Opus 4.6)은 제약이 없을 때도 제약을 적용하여, ACTIVE 항목에서는 높은 정확도를 보이지만 REMOVED 항목에서는 정확도가 현저히 낮아진다.
저활성화 (2개 모델): 모델들(예: GPT-OSS-20B)은 제약이 필요할 때 이를 적용하지 못하며, ACTIVE 항목보다 REMOVED 항목에서 더 높은 성능을 보인다.
균형 (5개 모델): 모델들은 ACTIVE와 REMOVED 성능 간의 차이가 미미하다.

2. 기계론적 해리 (K/S/R/P)

지식은 존재함: 선형 프로브는 Qwen3-14B와 GPT-OSS-20B 모두에서 제약 적용 가능성을 높은 정확도(>88%)로 디코딩하여 조건 K를 만족한다.
대칭성 유지: 프로브 정확도는 ACTIVE와 REMOVED 프롬프트 전반에서 대칭적으로 나타나 조건 S를 만족한다.
라우팅 실패: 프로브로 투영된 크기는 결정 로짓 차이와 약한 상관관계를 보인다 (조건 R 실패).
패칭 결과:
- Qwen3-14B: EXPLICIT 프롬프트로부터 제약 정보를 ACTIVE 프롬프트로 패칭하면, gold–shortcut 로짓 차이가 +6.4 nats 증가하여 의사결정을 효과적으로 복구한다. 이는 조건 P를 만족한다.
- GPT-OSS-20B: 제약 정보가 디코딩 가능함에도 불구하고(88% 프로브 정확도), 동일한 정보를 패칭했을 때 효과가 없음 ( $\Delta \approx -0.07$ nats). 제약 방향은 존재하지만 의사결정 헤드(decision head)에 의해 읽히지 않는다.

3. 프롬프트 완화 전략의 실패

테스트된 네 가지 프롬프팅 전략(CoT, 전제 조건 나열, 목표 분해, 반사실적 점검) 모두 "복구 코너(repair corner)"(양의 이득, 음이 아닌 해악)에 도달하는 데 실패했다.

복구 없는 해악: 이 전략들은 일관되게 보수적 편향 지수를 높이는(PairHarm +0.28 ~ +0.65) 반면, 유의미한 Active Gain(+0.01 ~ +0.04)은 제공하지 못한다.
매개 분석: 이 전략들은 단일한 표면 동작, 즉 전제 조건의 언급을 유도함으로써 작동한다. 이러한 언급은 제약 적용 여부와 관계없이 높은 비율(0.84–0.96)로 발생한다. "정확성"은 이 언급에 의해 매개되지만, 이 언급은 제약이 적용되지 않는 항목에 대한 성능을 저해하는 보수적 편향을 유발한다.
사고 예산 (Thinking Budget): 사고 모드(thinking-mode) 모델에서 추론 예산을 늘리는 것은 라우팅 문제를 해결하지 못한 채 과활성화를 악화시킨다(CBI 증가).

의의 및 주장

본 논문은 LLM의 숨겨진 제약 실패가 지식 결핍이 아니라 회로 수준의 조건부 활성화 문제라고 주장한다.

라우팅 vs 지식: 실패는 모델이 제약을 "모르는" 것이 아니다. 모델은 이를 대칭적으로 인코딩하고 있다. 문제는 제약 신호가 의사결정 헤드로 신뢰성 있게 라우팅되지 않는다는 것이다.
프롬프팅의 한계: 프롬프트 개입(CoT 등)은 이 라우팅 실패를 복구할 수 없다. 이는 단지 제약을 언급할 전역적 확률을 높일 뿐이며, 이는 의도치 않게 제약이 적용되지 않는 항목에 대한 보수적 편향을 팽창시킨다.
해결 방향: 저자들은 효과적인 해결책이 표면적인 프롬프팅이나 연산량 증대에 의존하는 것이 아니라, 라우팅 방향 자체(예: 학습된 활성화 게이트 또는 회로 수준의 개입)를 다루어야 한다고 결론짓는다.

본 연구는 (K/S/R/P)라는 공식적인 진단 프레임워크를 제공하며, 총체적 정확도 지표가 진정한 추론과 보수적 기본값 설정 사이의 구분을 가리고 있음을 실증적으로 보여줌으로써, 제약 활성화에 대한 기계론적 평가로의 전환이 필요함을 시사한다.