🤖 AI

From Noise to Diversity: Random Embedding Injection in LLM Reasoning

본 논문은 학습이 불필요한 무작위 임베딩 벡터를 대규모 언어 모델 입력에 주입함으로써 초기 단계 토큰 다양성을 높이고 Pass@N 을 확장하여 학습된 소프트 프롬프트 없이도 추론 정확도와 학습 결과 모두를 개선하는 메커니즘을 통해 추론 성능을 효과적으로 향상시킨다는 것을 보여줍니다.

원저자: Heejun Kim, Seungpil Lee, Jewon Yeom, Jaewon Sok, Seonghyeon Park, Jeongjae Park, Taesup Kim, Sundong Kim

게시일 2026-05-13

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Heejun Kim, Seungpil Lee, Jewon Yeom, Jaewon Sok, Seonghyeon Park, Jeongjae Park, Taesup Kim, Sundong Kim

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

상상해 보세요. 수학 문제를 푸는 데는 뛰어나지만 매우 경직된 천재 사서 (대형 언어 모델) 가 있다고 가정해 봅시다. 이 사서는 항상 같은 경로를 따라 답을 찾지만, 그 길이 막다른 길로 이어지면 포기해 버립니다.

오랜 기간 동안 연구자들은 이 문제를 해결하기 위해 사서를 더 나은 해답으로 이끌 특별한 맞춤형 메모 (소프트 프롬프트) 로 "훈련"시키려 했습니다. 그들은 그 메모의 내용에 마법이 있다고 가정했습니다.

하지만 이 논문은 다른 질문을 던집니다: 만약 그 마법이 메모 자체에 있는 것이 아니라, 사서가 작업을 시작하기 전에 새로운 무작위 종이를 건네주는 단순한 행위에 있다면 어떨까요?

여기서 일상적인 비유를 통해 그들이 발견한 **무작위 소프트 프롬프트 (RSP)**의 내용을 정리해 보겠습니다.

1. "무작위 노이즈" 실험

연구자들은 특별한 메모를 훈련하는 대신, 완전히 무작위이고 의미 없는 낙서 (무작위 숫자) 한 줌을 집어 수학 문제의 앞이나 뒤에 붙였습니다.

놀라운 사실: 이 낙서들에는 유용한 정보가 전혀 없었지만, 사서는 갑자기 문제를 더 잘 풀기 시작했습니다. 어떤 경우에는 신중하게 훈련된 완벽한 메모를 받은 것과 똑같은 성과를 내기도 했습니다.
교훈: 개선은 새로운 것을 학습해서 나온 것이 아니라, 무언가를 혼합물에 주입하는 행위에서 비롯된 것입니다.

2. 작동 원리: "분기하는 길" 비유

사서의 사고 과정을 여러 문이 있는 복도를 걷는 것으로 생각해 보세요.

무작위 종이 없이: 사서는 메인 복도를 곧장 걸어가고, 처음 보는 문을 열어 그 경로를 따라 계속 갑니다. 그 길이 막다른 길이라면 실패합니다.
무작위 종이와 함께: 무작위 낙서들은 복도 시작 부분에서 갑자기 불어오는 혼란스러운 바람과 같은 역할을 합니다.
- 초기 단계 (분기): 이 "바람" 때문에 사서는 평소와 다른 문을 보고 멈칫합니다. 그들은 이전에 고려한 적이 없는 문을 열 수도 있습니다. 이렇게 사고에 "분기"가 생겨 해답에 이르는 완전히 다른 경로가 만들어집니다.
- 후기 단계 (안정화): 사서가 이 새로운 길을 더 나아가면, 복도가 길어지고 시작에 대한 기억이 희미해지면서 "바람" (무작위 종이) 은 사라집니다. 그들은 이제 이 새로운 길에서 자신감 있는 걸음걸이를 유지하게 됩니다.

3. "주사위 굴리기" 효과 (Pass@N)

논문은 사서에게 같은 문제를 10 번 시도하게 하되, 매번 서로 다른 무작위 낙서를 주면 10 개의 서로 다른 경로가 나온다는 것을 발견했습니다.

결과: 그중 9 개의 경로가 틀리더라도, 사서에게 10 개의 서로 다른 시작점을 강제로 시도하게 했다는 사실은 그중 하나라도 올바른 경로를 찾을 확률을 훨씬 높여줍니다.
주의점: 10 번의 시도 모두에 같은 무작위 낙서를 사용하면, 모두 같은 잘못된 경로를 가게 됩니다. 마법은 "바람"이 매번 변할 때만 작동합니다.

4. 왜 이것이 중요한가

무료입니다: 모델을 훈련시키거나 새로운 사실을 가르치는 데 몇 주를 보낼 필요가 없습니다. 무작위 노이즈만 추가하면 됩니다.
구조적입니다: 이 논문은 이러한 고급 AI 기법의 "마법"이 토큰의 구체적인 내용에 있는 것이 아니라, 추가 토큰을 더하는 구조에서 비롯된다는 것을 증명합니다. 퍼즐 조각 상자를 흔들면 퍼즐을 풀지 않더라도 올바른 모서리 조각을 더 빨리 찾을 수 있는 것과 같은 이치입니다.
훈련을 돕습니다: 연구자들은 모델의 훈련 (학습) 단계에서 이 무작위 "바람"을 사용하면 모델이 더 빠르고 잘 학습할 수 있음을 보여주었습니다. 이는 코치가 운동 선수가 지루해하거나 일상에 갇히지 않도록 훈련을 다양하게 하는 것과 유사합니다.

요약

이 논문은 무작위성이 강력한 도구라고 주장합니다. AI 의 입력에 무작위적이고 의미 없는 벡터를 주입함으로써, 초기 단계에서 답에 이르는 서로 다른 "길"을 탐색하도록 강제합니다. 일단 길을 선택하면 그 길에 머무르게 되지만, 평소와 다른 길에서 시작했기 때문에 기존의 경로만 고수했을 때보다 목적지에 더 자주 도달하게 됩니다. 결론적으로 때로는 무언가를 흔들어 섞는 것이 새로운 것을 가르치는 것만큼 효과적이라는 것이 밝혀졌습니다.

기술 요약: 노이즈에서 다양성으로: LLM 추론에서의 무작위 임베딩 주입

문제 제기

최근 대규모 언어 모델 (LLM) 추론 연구는 모델 입력에 학습 가능한 연속 임베딩 벡터를 삽입하여 행동을 유도하는 **소프트 프롬프트 (Soft Prompts)**에 집중해 왔습니다. 이러한 방법들 (예: Prefix-Tuning, SoftCoT, LTPO) 이 성능 향상을 입증했음에도 불구하고, 중요한 모호성이 남아 있습니다: 개선이 최적화된 벡터의 학습된 내용에 기인한 것인지, 아니면 주입 행위 자체에 기인한 것인지? 이전 연구는 학습된 표현에서 향상을 귀속시켰지만, 이론적 제약은 소프트 프롬프트가 콘텐츠 토큰 간의 상대적 주의 패턴을 변경하지 않고 고정된 방향으로 주의만 편향시킨다고 시사합니다. 또한 기존 방법들은 도메인별 학습이 필요하고, 하이퍼파라미터에 민감하며, 그 효능에 대한 통일된 이론적 설명이 부족합니다.

방법론: 무작위 소프트 프롬프트 (RSP)

학습된 내용과 주입 행위의 기여도를 분리하기 위해, 저자들은 **무작위 소프트 프롬프트 (RSPs)**를 제안합니다. RSP 는 학습이 필요 없는 개입으로, 무작위 임베딩 벡터 시퀀스를 입력에 추가합니다.

구성: RSP 벡터는 사전 학습된 토큰 임베딩 테이블의 요소별 평균 ( $\mu_E$ ) 과 분산 ( $\sigma_E$ ) 에 적합된 등방성 가우시안 분포에서 독립적으로 샘플링됩니다.
$h_j \sim \mathcal{N}(\mu_E \mathbf{1}_d, \sigma_E^2 \mathbf{I}_d)$
메커니즘: 이 방법은 두 가지 이론적 단계에 의존합니다:
1. 탐색 (초기 디코딩): 키 - 값 (KV) 캐시가 짧을 때, 무작위 토큰에 할당된 주의 질량 ( $w$ ) 은 중요합니다. RSP 가 등방성이기 때문에, 이는 은닉 상태를 모든 방향으로 교란시켜 상위 K 개 토큰 예측을 변경하고, 기준선과 다른 다양한 추론 궤적을 열 수 있습니다.
2. 어닐링 (후기 디코딩): 자기회귀 생성이 진행됨에 따라 KV 캐시가 커집니다. 이론적 분석 (정리 1) 은 고정 길이 RSP 시퀀스에 할당된 주의 질량의 상한이 실제 토큰 수 ( $n$ ) 가 증가함에 따라 단조적으로 감소함을 보여줍니다. 결과적으로 RSP 의 영향은 자연스럽게 희석되어 모델이 단일 완성 경로에 집중할 수 있게 합니다.
구현: RSP 는 기본적으로 접미사로 주입되지만 접두사나 중위사 (infix) 로도 가능합니다. 핵심적으로, 이들은 모든 추론 롤아웃 또는 학습 궤적마다 새롭게 재샘플링되어 독립성을 보장합니다.

주요 기여

주입 효과의 격리: RSP 는 소프트 프롬프트 주입의 구조적 효과를 연구하기 위한 통일된 렌즈를 제공합니다. 학습 단계를 완전히 제거함으로써, 저자들은 최적화된 소프트 프롬프트와 비교할 수 있는 정확도를 무작위 벡터 주입 행위 단독으로 유도할 수 있음을 입증했습니다.
이론적 및 경험적 검증: 이 논문은 KV 캐시 성장에 따른 주의 질량 감쇠 (정리 1) 와 등방성 커버리지가 다양한 분기 상태 도달을 보장하는 방식을 보여주는 이론적 프레임워크를 확립합니다. 경험적으로 RSP 는 학습된 매개변수 없이도 최적화된 방법들 (LTPO, SoftCoT, TTSV) 의 초기 디코딩 엔트로피 서명을 재현합니다.
학습으로의 확장: 저자들은 RSP 를 추론에서 DAPO(강화 학습 훈련 알고리즘) 로 확장하여, 롤아웃 중 독립적인 RSP 재샘플링이 손실 수준 다양성 보존과 결합되어 추가적인 성능 향상을 가져온다는 것을 입증했습니다.

실험 결과

저자들은 Qwen2.5-Math 및 LLaMA-3.1 과 같은 모델을 사용하여 수학 추론 벤치마크 (MATH-500, GSM8K, AIME24) 에서 RSP 를 평가했습니다.

정확도 향상: RSP 는 학습 없이 최적화된 소프트 프롬프트 (TTSV, SoftCoT, LTPO) 와 비교할 수 있거나 초과하는 정확도를 달성합니다. 특히 포맷 불일치 시나리오 (ChatML 템플릿을 해당 템플릿으로 훈련되지 않은 베이스 모델에 적용) 에서 RSP 는 상당한 정확도 회복을 이루었습니다 (예: MATH-500 에서 Qwen2.5-Math-1.5B 기준 +29.0 퍼센트 포인트).
다양성과 Pass@N:
- 토큰 수준: RSP 는 첫 번째 토큰 분포에 뚜렷한 변화를 유도합니다 (온도 스케일링의 1.0 대비 스피어만 $\rho = 0.709$ ), 베이스라인의 상위 10 개 토큰을 넘어선 지지를 확장합니다.
- 궤적 수준: RSP 는 그룹 내 일관성을 유지하면서 의미적으로 다양한 추론 경로 (높은 클러스터 간 거리) 를 생성합니다.
- 결과 수준: Pass@N( $N$ 번 시도 중 적어도 하나의 정답이 나올 확률) 은 독립적인 재샘플링에 따라 크게 증가합니다. 단일 RSP 를 샘플 간 공유하는 것은 아무런 이득도 주지 않아, 다양성이 고정된 교란이 아닌 확률적 주입에서 비롯됨을 확인시켜 줍니다.
학습 통합: DAPO 훈련에서 롤아웃에 RSP 를 추가한 결과, DAPO 단독 (53.20%) 대비 더 높은 피크 평균 정확도 (54.36%) 를 달성하고 성능 저하가 지연되어 개선된 탐색 - 활용 역학을 시사했습니다.

중요성 및 주장

이 논문은 "학습된" 소프트 프롬프트로 귀속된 성공의 상당 부분이 실제로 주입 메커니즘 자체의 구조적 부산물이라고 주장합니다. 입력 계층에서 무작위 등방성 교란을 도입하는 행위는 다음과 같은 효과를 가집니다:

초기 단계 토큰 다양성을 높여, 순위 순서를 보존하는 표준 온도 스케일링을 통해 접근할 수 없는 추론 궤적을 모델이 탐색할 수 있게 합니다.
생성이 진행됨에 따라 자동으로 감쇠하여, 최종 답변을 불안정하게 만드는 무작위 노이즈를 방지합니다.
학습된 내용이 추론 개선의 주요 동력이라는 이전 연구의 가정을 제한하는 통제 수단 역할을 합니다.

저자들은 RSP 가 특히 포맷 정렬이 불량하거나 RL 기반 훈련에 독립적인 궤적 탐색이 중요한 시나리오에서 추론 다양성과 정확도를 향상시키기 위한 간단하고 학습이 필요 없는 대안을 제공한다고 결론지었습니다. 그들은 계층별 감쇠에 대한 이론적 설명과 비수학 작업에 대한 적용 가능성과 관련된 한계를 지적하며, 이 작업을 배포된 솔루션이 아닌 주입 역학에 대한 기초 분석으로 규정합니다.