🤖 machine learning

GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning

GradCuit는 모델이 단순히 출력을 재생성하는 것을 넘어 내부 추론 과정을 적응시킬 수 있도록 함으로써, 최종 결과로부터의 직접적인 그래디언트 흐름을 통해 트랜스포머 레이어 내의 중간 잠재 상태를 최적화하여 기존 방식들보다 우수한 정확도, 강건성 및 해석 가능성을 달성하는 새로운 테스트 타임 추론 프레임워크를 도입한다.

원저자: Zhaoxin Yu, Qi Shen, Hengli Li, Zhaowei Zhang, Song-Chun Zhu, Chi Zhang, Zilong Zheng

게시일 2026-08-04

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Zhaoxin Yu, Qi Shen, Hengli Li, Zhaowei Zhang, Song-Chun Zhu, Chi Zhang, Zilong Zheng

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 아주 똑똑하지만 약간 고집스러운 로봇에게 까다로운 퍼즐을 푸는 법을 가르치려 한다고 상상해 보세요. 로봇의 뇌(내부 코드)를 직접 다시 쓸 수는 없습니다. 그렇게 하면 이미 알고 있는 것들이 망가질 수 있기 때문입니다. 대신 당신은 로봇에게 말을 걸고, 힌트를 주고, 로봇이 스스로 올바른 경로를 찾아내기를 바라야 합니다. 이것이 바로 우리가 오늘날 사용하는 초지능형 AI 챗봇인 '대규모 언어 모델(LLM)'의 세계입니다. 보통 이 로봇들이 막히면, 우리는 학생이 수학 시험에서 풀이 과정을 보여주는 것처럼, 로봇에게 "생각을 밖으로 내뱉으며(think out loud)" 단계별로 적으라고 요청합니다. 이를 '사고의 사슬(Chain-of-Thought)'이라고 부릅니다. 하지만 때로는 이렇게 말을 많이 하게 해도 로봇이 정답을 틀리곤 합니다.

최근에 과학자들은 새로운 기술을 시도했습니다. 로봇에게 더 많은 단어를 쓰게 하는 대신, 로봇이 글자를 한 자도 타이핑하기 전에 일어나는 그들의 "보이지 않는 생각"—즉, 뇌 속의 숨겨진 숫자들—을 미세하게 조정하는 방법을 시도한 것입니다. 그들은 이 보이지 않는 숫자를 조절함으로써 로봇이 갑자기 "깨닫게" 되기를 희망했습니다. 그러나 기존 방식은 멀리 떨어진 등대에서 소리를 질러 배를 조종하려는 것과 같았습니다. 신호가 길을 잃었고, 로봇의 생각 중 정확히 어느 부분이 고쳐져야 하는지 알기 어려웠습니다. 이 논문은 이보다 훨씬 더 날카로운 방식을 소개하며, 로봇의 내부 배선 자체를 직접적인 제어 패널로 바꿉 Kind 방식입니다.

논문: GradCuit – 보이지 않는 조절 노브 튜닝하기

GradCuit(Gradient through Circuit의 약자)를 만나보세요. 대규모 언어 모델을 거대한 다층 공장이라고 생각해 보세요. 가공되지 않은 아이디어(질문)가 맨 아래층으로 들어와서, 완성된 제품(답변)이 꼭대기에서 나오기 전까지 여러 층의 작업자(레이어)들을 거쳐 올라갑니다. 과거에는 공장이 실수를 하면, 과학자들은 작업자들이 이미 말을 시작한 후에 그들에게 전달되는 지침을 바꾸어 문제를 해결하려 했습니다. 그것은 지저분하고 간접적이었습니다.

GradCuit는 게임의 규칙을 바꿉니다. 공장 바닥 한가운데에 특별하고 보이지 않는 "제어 노브(조절 손잡이)"를 삽입합니다. 로봇이 말을 마칠 때까지 기다렸다가 그 단어들을 수정하는 대신, GradCuit는 로봇이 여전히 생각하고 있는 동안 이 숨겨진 노브들을 미세하게 조정합니다. 여기서 마법 같은 부분이 나타납니다. 논문은 로봇의 내부 배선(이를 '자기 주의 집중(self-attention)'이라 부름)이 완벽한 전기 회로처럼 작동한다는 것을 보여줍니다. 중간에 있는 노브를 조절하면, 스위치를 켜면 특정 전구가 불을 밝히는 것처럼 그 효과가 최종 답변까지 즉각적이고 명확하게 전달됩니다.

이 연결이 매우 직접적이기 때문에, 과학자들은 "정답!" 또는 "오답!"과 같은 '보상 신호(reward signal)'를 사용하여 로봇에게 그 노브들을 어떻게 돌려야 할지 정확히 알려줄 수 있습니다. 만약 답이 틀렸다면, 시스템은 다음 시도가 더 나아지도록 보이지 않는 생각을 어떤 방향으로 밀어야 할지 정밀하게 계산합니다. 이는 마치 내비게이션이 단순히 "길을 잃었다"라고 말하는 것이 아니라, 자동차의 엔진을 바꾸지 않고도 바퀴를 직접 조종하여 길로 돌아오게 하는 것과 같습니다.

연구 결과

연구진은 이 새로운 방법을 다섯 가지 서로 다른 유형의 AI 로봇과 세 가지 어려운 추론 과제(수학 문제나 과학 질문 등)에 테스트했습니다. 결과는 매우 인상적이었습니다:

더 높은 점수: 평균적으로 GradCite는 **64.5%**의 정답률을 기록했습니다. 이는 표준적인 "생각을 밖으로 내뱉는" 방식보다 6.6 퍼센트 포인트 높았으며, 가장 강력한 경쟁 방식인 "보이지 않는 생각" 튜닝 방식보다도 2.4 포인트 앞섰습니다.
확고한 안정성: 이러한 튜닝 방식에서 가장 큰 골칫거리 중 하나는 노브를 얼마나 빨리 돌리느냐(학습률)에 매우 민데민하다는 점입니다. 너무 빨리 돌리면 로봇이 미쳐버리고, 너무 느리면 학습을 하지 못합니다. GradCuit는 믿기 힘들 정도로 안정적이었습니다. 과학자들이 설정값을 크게 바꿔도 GradCuit는 계속해서 좋은 성능을 유지했습니다. 실제로 그 성능은 매우 일관적이어서, 점수의 "흔들림(표준 편차)"이 1.53에서 0.82로 떨어졌습니다.
우연히도 작동함: 놀라운 테스트에서, 과학자들은 스마트한 "보상 신호"를 무작위적인 흔들리는 방향(마치 랜덤 워크와 같은)으로 교체했습니다. 스마트한 가이드가 전혀 없는 상태에서도 GradCuit는 다른 최상위 방식들과 거의 비슷하게 수행되었습니다. 이는 로봇 뇌의 "중간 층"이 변화를 주기에 정말 좋은 장소라는 것을 시사합니다.

왜 중요한가 (그리고 무엇이 아닌가)

논문은 또한 로봇의 내부를 들여다보며 실제로 무슨 일이 일어나고 있는지 확인했습니다. 그들은 보이지 않는 노브들이 주로 "연결어"—논리적 논거를 유지하는 "그러므로", "때문에", "그다음에"와 같은 작은 단어들—에 영향을 미친다는 것을 발견했습니다. 이는 GradCuit가 단순히 무작위 단어를 추측하는 것이 아니라, 로봇이 생각들 사이의 더 나은 논리적 가교를 구축하도록 돕고 있음을 의미합니다.

하지만 이 논문이 하지 않는 일도 알아두는 것이 중요합니다. 이 방식은 로봇에게 새로운 사실을 가르치거나 영구적인 기억을 바꾸지 않습니다. 또한 로봇이 수천 개의 서로 다른 답을 시도하게 하고 그중 최고를 고르는 방식(느리고 비용이 많이 듦)으로 작동하지도 않습니다. 대신, 이 방식은 로봇의 현재 사고 과정을 더 견고하고 해석 가능하게 만드는 방법을 찾아냅니다.

저자들은 로봇의 내부 회로를 사용하여 이러한 숨겨진 생각들을 안내함으로써, AI의 추론을 더 신뢰할 수 있고 이해하기 쉽게 만들 수 있다고 제안합니다. 이는 AI가 단순히 정답을 맞히는 것을 넘어, 보이지 않는 곳에서 한 번에 한 번씩 미세하게 조절하며 실제로 어떻게 생각에 도달해야 하는지를 깨닫게 하는 단계입니다.

기술 요약: GradCuit

문제 정의

최적화 기반의 잠재 추론(Optimization-based latent reasoning)은 테스트 시점에 모델 파라미터를 고정한 채 인스턴스별 연속적 잠재 상태(continuous latent states)를 최적화함으로써 대규모 언어 모델(LLM)의 출력을 개선하는 것을 목표로 합니다. 그러나 기존 방식들(예: LatentSeek, LTPO, MILR)은 근본적인 신용 할당(credit-assignment) 문제에 직면해 있습니다. 이러한 접근법들은 일반적으로 디코딩된 토큰을 통해 잠재 변수와 추론 궤적(reasoning trajectory)을 연결합니다. 이는 최적화 신호가 잠재 변수에 도달하기 위해 이산적인 디코딩 과정을 역전파되어야 하는 정보 병목 현상을 생성합니다. 결과적으로 다음과 같은 문제가 발생합니다:

간접적 최적화: 잠재 업데이트와 다운스트림 추론 토큰 사이의 관계가 얽혀 있고 간접적입니다.
불투명한 역학: 이산적인 생성 경로가 내부 역학을 가리기 때문에, 특정 잠재 변수가 후속 예측이나 최종 답변에 어떻게 영향을 미치는지 해석하기 어렵습니다.

방법론: GradCuit

저자들은 GradCuit(Gradient through Circuit)를 제안합니다. 이 방법은 트랜스포머의 셀프 어텐션 메커니즘을 직접적인 신용 할당을 가능하게 하는 계산 회로(computational circuit)로 활용합니다.

핵심 메커니즘

출력단에서 잠재 변수를 정의하는 방식(LatentSeek의 경우) 대신, GradCuit는 선택된 트랜스포머 레이어( $l$ )의 중간 은닉 상태 공간에 작은 규모의 최적화 가능한 잠재 상태( $z^{(l)}$ )를 직접 삽입합니다.

삽입(Insertion): 프롬프트 $c$ 와 이전에 생성된 토큰 $x_{<t}$ 에 대해, 모델은 레이어 $l$ 까지의 은닉 표현을 계산합니다. 최적화 가능한 잠재 변수는 이 표현들과 결합됩니다: $[h^{(l)}_c, z^{(l)}, h^{(l)}_{x<t}]$ .
순방향 흐름(Forward Flow): 이 결합된 시퀀스는 나머지 트랜스포머 레이어( $l+1$ 부터 $M$ 까지)와 언어 모델 헤드를 통과하여 다음 토큰 분포를 생성합니다.
역방향 흐름(Backward Flow, 신용 할당): 잠재 변수가 토큰 표현과 함께 셀프 어텐션 메커니즘에 참여하기 때문에, 생성된 모든 토큰의 로그 확률은 남은 레이어들을 통해 이전의 모든 잠재 상태로 향하는 미분 가능한 경로를 갖게 됩니다.
최적화: 이 방법은 정책 경사(policy-gradient) 스타일의 업데이트를 사용하여 잠재 변수를 최적화합니다:
$z^{(l)} \leftarrow z^{(l)} + \eta \nabla_{z^{(l)}} J(z^{(l)})$
여기서 그래디언트 $J$ 는 생성된 모든 토큰으로부터 보상 가중치가 부여된 기여도를 집계합니다:
$\nabla_{z^{(l)}_i} J = \sum_{t=1}^T \mathbb{E}_{x \sim \pi} [R(x, c) \times \nabla_{z^{(l)}_i} \log \pi(x_t | x_{<t}, z^{(l)}, c)]$
이를 통해 전체 문맥으로부터의 보상 신호를 이산적인 토큰 디코딩 과정을 거치지 않고 잠재 변수에 직접 할당할 수 있습니다.

구현 세부 사항

잠재 구조 구축(Latent Construction): 고정된 텍스트 접두사(예: "Let's think about this problem...")를 렌더링하고, 레이어 $l$ 에서 그 은닉 표현에 학습 가능한 오프셋 $\Delta z^{(l)}$ 을 더합니다.
자기 보상(Self-Reward): LLM 자체가 검증자 역할을 수행하며, 추출된 최종 답변을 바탕으로 이진 보상(정답인 경우 0, 오답인 경우 -1)을 제공합니다.
최적화 루프: 모델은 응답을 탐욕적(greedy)으로 생성하고, 이를 평가한 뒤, Adam을 통해 $\Delta z^{(l)}$ 을 업데이트합니다. 이 과정은 정답이 나올 때까지 또는 예산(최대 10회 업데이트)에 도달할 때까지 반복됩니다.

주요 기여

회로 형태의 잠재 추론(Circuit-like Latent Reasoning): GradCuit는 중간 트랜스포머 레이어에 학습 가능한 잠재 상태를 삽입하여, 순방향 상호작용과 역방향 신용 할당 모두를 위해 셀프 어텐션을 직접적인 계산 경로로 활용하는 방법을 도입했습니다.
개선된 견고성: 보상 가중치가 적용된 그래디언트를 생성된 토큰으로부터 잠재 상태로 직접 전파함으로써, GradCuit는 기존의 잠재 추론 방식들에 비해 더 높은 최적화 안정성을 달로 성입니다.
해석 가능성: 회로 형태의 그래디언트 경로를 통해 잠재 역학을 조사할 수 있습니다. 저자들은 잠재적 영향력이 "reasoning-connector" 토큰(예: "because", "therefore")에 집중됨을 보여줌으로써, 최적화된 상태가 추론 과정을 어떻게 가이드하는지 밝혀냈습니다.

실험 결과

저자들은 다섯 가지 지시어 튜닝된 백본(LLaMA-3.2-3B, LLaMA-3.1-8B, Qwen2.5-7B, Qwen2.5-14B, Qwen3-4B)과 세 가지 추론 벤치마크(GPQA-Diamond, GSM8K, MATH-500)를 대상으로 GradCuit를 평가했습니다.

성능: GradCuit는 평균 정확도 **64.5%**를 달성하여, Chain-of-Thought(CoT)보다 6.6 퍼센트 포인트, 가장 강력한 경쟁 방법인 LatentSeek보다 2.4 퍼센트 포인트 높은 성능을 보였습니다. 30개 설정 중 23개 설정에서 최고의 개별 결과를 기록했습니다.
하이퍼파라미터에 대한 견고성: 7가지 학습률 설정 전반에 걸쳐, GradCuit는 표준 편차 0.82의 높은 성능을 유지했으며, 이는 LatentSeek의 1.53보다 현저히 낮은 수치입니다.
최적화 방향에 대한 견로성: 보상 유래 그래디언트를 무작위 가우시안 방향(random-walk 변형)으로 대체했을 때도 GradCuit는 LatentSeek과 경쟁력 있는 성능을 유지했으며, 이는 잠재 공간 자체가 본질적으로 더 접근 가능하고 견고함을 시사합니다.
레이어 민감도: 잠재 변수가 네트워크 깊이의 25%에서 50% 사이에서 삽입되었을 때 최적의 성능이 관찰되었습니다. 이는 맥락화(contextualization)와 정교화를 위한 충분한 다운스트림 계산 사이의 균형을 맞춘 결과입니다.

의의

본 논문은 GradCuit가 **견고하고 해석 가능한 테스트 타임 스케일링(test-time scaling)**의 새로운 축을 연다고 주장합니다. 결과 피드백으로부터 내부 추론 상태를 직접 최적화함으로써, 이 방법은 LLM이 단순히 출력을 재생성, 샘플링, 또는 재순위화(reranking)하는 것을 넘어 "추론하는 방식 자체를 적응"할 수 있게 합니다. 트랜스포머의 어텐션 회로를 통해 신용을 직접 할당하는 능력은 기존 잠재 추론 방식의 불투명성 문제를 해결하며, 베이스 모델의 파라미터를 업데이트하지 않고도 더 안정적이고 이해 가능한 테스트 타임 적응의 경로를 제시합니다.