🤖 machine learning

Compute Where it Counts: Self Optimizing Language Models

본 논문은 고정된 LLM 과 경량 정책 네트워크를 결합하여 토큰당 가변적 계산 예산을 희소성, 가지치기, 양자화를 조정함으로써 동적으로 할당하는 Self-Optimizing Language Models(SOL) 라는 프레임워크를 소개하며, 이를 통해 정적 할당 전략에 비해 추론 품질과 효율성을 크게 향상시킵니다.

원저자: Yash Akhauri, Mohamed S. Abdelfattah

게시일 2026-05-12

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Yash Akhauri, Mohamed S. Abdelfattah

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

자동차로 장거리 여행을 한다고 상상해 보세요. 대부분의 현재 AI 모델(대규모 언어 모델)은 이 여행을 "설정하고 잊어라"는 전략으로 진행합니다. 평탄하고 빈 공터가 있는 고속도로를 달리는지, 가파르고 바위가 많은 산을 오르는지에 관계없이 모든 마일마다 정확히 같은 양의 연료와 엔진 출력을 사용합니다.

이 논문은 **자기 최적화 언어 모델 (Self-Optimizing Language Models, SOL)**이라는 새로운 시스템을 소개합니다. 고정된 엔진 설정으로 주행하는 대신, SOL 은 앞쪽 도로를 끊임없이 확인하고 순간순간 엔진 출력을 조절하는 똑똑한 조종사처럼 행동합니다.

다음은 이를 간단한 개념으로 분해한 작동 원리입니다:

1. 문제: "일률적 적용" 엔진

현재 AI 모델은 한 단어 (또는 "토큰") 씩 텍스트를 생성합니다. 비용과 에너지를 절약하기 위해 엔지니어들은 모델을 "가볍게" 만드는 방법을 개발했습니다:

일부 컨텍스트 무시: 가장 중요한 이전 단어만 살펴보기 (배경 소음을 무시하는 것처럼).
뇌 가지치기: 현재 필요하지 않은 모델의 내부 처리 부분을 끄기.
정밀도 낮추기: 더 빠르게 만들기 위해 소수점 자릿수를 줄여 수학 연산 수행 (숫자 반올림처럼).

문제는 이러한 방법들이 보통 모든 단어에 대해 동일한 수준의 "가벼움"을 적용한다는 점입니다.

실수: AI 가 "the"와 같은 간단한 단어를 작성할 때, 무겁고 정밀한 엔진을 사용하여 에너지를 낭비합니다. 반면 "quantum"과 같은 복잡한 단어를 작성할 때는 실수를 일으킬 수 있는 가볍고 부실한 엔진을 사용할 수 있습니다.

2. 해결책: "똑똑한 조종사" (정책)

저자들은 주요 AI 모델에 작고 가벼운 "조종사"(작은 신경망) 를 추가했습니다.

주요 모델: 이는 무겁고 고정된 엔진입니다. 말하고 생각하는 법을 알지만, 자체 설정은 변경하지 않습니다.
조종사: 이는 새로운 부분입니다. 단어를 생성하는 매 단계마다 조종사는 주요 모델이 무엇을 생각하고 있는지 (그의 "은닉 상태") 를 살펴보고 이렇게 묻습니다: "다음 단어가 얼마나 어려울까?"

그 답변에 따라 조종사는 적절한 노력 양을 선택하기 위해 스위치를 조작합니다:

쉬운 단어인가? 출력을 낮추십시오 (메모리 사용 줄이기, 정밀도 낮추기, 더 많은 컨텍스트 무시).
어려운 단어인가? 출력을 높입니다 (전체 정밀도 사용, 더 많은 컨텍스트 확인, 모든 뇌 부분 활성화 유지).

3. 훈련: "만약에?"를 통한 학습

조종사가 이러한 순간적인 결정을 내리는 법을 어떻게 가르칠 수 있을까요? 단순히 추측하게 하고 실패 여부를 확인하는 것은 텍스트를 망가뜨릴 수 있으므로 불가능합니다.

대신 저자들은 반사실 (Counterfactuals) 또는 "만약에" 시나리오라는 교묘한 훈련 트릭을 사용했습니다:

AI 에게 문장을 완성하도록 합니다.
정확히 같은 문장을 16 번 연속 생성합니다.
그 16 번 시도 각각에서 조종사에게 다른 일련의 선택을 하도록 강요합니다 (예: "1 단계에서는 게으름을 피워라", "2 단계에서는 매우 조심하라").
결과를 비교합니다: 어떤 일련의 선택이 최소한의 에너지를 사용하면서 가장 좋은 문장을 만들어냈습니까?
조종사는 이 비교를 통해 학습하여, *"아, 나는 1 단계가 아니라 12 단계에서 에너지를 아껴야 했구나"*라고 깨닫습니다.

4. "KV 오염" 경고

이 논문은 까다로운 부작용을 지적합니다. 엔진의 일부를 너무 공격적으로 끄면, 자동차의 메모리에 "더러운" 데이터가 남을 수 있습니다 (이를 KV 오염이라고 합니다). 나중에 엔진을 다시 풀 출력으로 되돌리더라도, 그 더러운 데이터가 미래 예측을 망칠 수 있습니다.

이를 해결하기 위해 SOL 은 짧은 폭발 (에피소드라고 함) 단위로 작동합니다. 16 단계마다 다음 폭발을 시작하기 전에 메모리를 깨끗한 상태로 되돌리는 빠른 "피트 스톱"을 가집니다. 이렇게 하면 이전에 내린 게으른 결정 때문에 나중에 자동차가 추락하지 않도록 보장합니다.

5. 결과: 더 나은 연비

저자들은 다양한 AI 모델 (10 억 파라미터 규모의 작은 모델부터 80 억 파라미터 규모의 큰 모델까지) 에서 이를 테스트했습니다.

발견: AI 에게 특정 양의 에너지 (예산) 를 사용하도록 요청했을 때, SOL 조종사는 고정된 설정만 사용한 모델보다 일관되게 더 높은 품질의 텍스트를 생성했습니다.
비유: 10 갤런의 가솔린 예산이 있다면, 고정된 자동차는 200 마일을 갈 수 있습니다. 반면 SOL 자동차는 모든 언덕과 골짜기에 맞춰 기어를 완벽하게 변경하여 동일한 10 갤런으로 215 마일을 갈 수 있습니다.

요약

필요한 곳에 컴퓨팅을은 AI 가 모든 것을 똑같은 방식으로 수행하는 로봇이 되는 것을 멈추게 하는 것에 관한 것입니다. 대신, AI 는 언제 관성 주행하고 언제 가속 페달을 밟아야 하는지 아는 똑똑한 운전자가 되어, 모든 컴퓨팅 파워가 가장 필요한 곳에 정확히 사용되도록 학습합니다.

기술 요약: 계산이 중요한 곳에서 계산하기: 자기 최적화 언어 모델

문제 정의

현재 대규모 언어 모델 (LLM) 추론 효율성 연구는 주로 양자화, 가지치기, 희소 어텐션과 같은 정적 기법을 통해 개별 디코딩 단계의 계산 비용을 줄이는 데 초점을 맞추고 있습니다. 이러한 방법들은 일반적으로 생성된 모든 토큰에 균일한 계산 예산을 적용합니다. 그러나 해당 논문은 토큰의 난이도가 크게 달라질 수 있음을 주장합니다. 일부 단계는 국소적으로 예측 가능하지만, 다른 단계들은 장거리 문맥이나 정밀한 중간 계산이 필요할 수 있습니다. 고정된 토큰당 예산은 쉬운 단계에서는 과도한 계산을, 어려운 단계에서는 불충분한 계산을 초래합니다. furthermore, 효율성 결정은 독립적이지 않습니다. $t$ 단계에서의 공격적인 압축은 키 - 값 (KV) 캐시 상태를 저하시켜 미래 단계에서 지연된 품질 저하 ("KV 오염") 를 유발할 수 있습니다. 기존 "조기 종료" 또는 깊이 적응형 방법들은 레이어 스킵핑을 다루지만, 문맥, 정밀도, 희소성에 관해 고정된 깊이 단계의 실행을 조절하지는 못합니다.

방법론: 자기 최적화 언어 모델 (SOL)

저자들은 단일 고정된 LLM 내에서 토큰별 계산 예산을 동적으로 할당하는 법을 학습하는 자기 최적화 언어 모델 (SOL) 프레임워크를 제안합니다.

핵심 아키텍처

고정된 베이스 모델: 하위 LLM 파라미터 ( $\theta$ ) 는 변경되지 않습니다.
경량 정책 네트워크: LLM 의 은닉 상태와 간단한 진행/예산 특징을 읽는 소형 자기회귀 트랜스포머 (컨트롤러) 가 각 디코딩 단계에서 이산적 효율성 행동을 선택합니다.
통합 행동 공간: 각 행동은 세 가지 직교하는 효율성 메커니즘을 동시에 제어합니다:
1. 토큰 수준 어텐션 희소성 (Quest 방법을 통해).
2. 구조화된 MLP 활성화 가지치기 (TEAL 스타일 채널 게이트를 통해).
3. 활성화 양자화 비트 너비 (ZeroQuant 스타일 가짜 양자화를 통해).
제어 지평선: 디코딩은 길이 $T$ (기본값 $T=16$ ) 의 짧은 에피소드에 걸친 순차적 의사결정 문제로 간주됩니다. KV 오염의 누적 효과를 완화하기 위해, 시스템은 각 에피소드 후 주기적으로 KV 캐시 갱신 (최근 $T$ 개 토큰에 대한 밀집 상태 재계산) 을 수행합니다.

훈련 절차

정책은 교사 강제 (teacher-forced) 에피소드를 사용한 **그룹 상대적 정책 최적화 (GRPO)**로 훈련됩니다:

반사실적 스케줄: 고정된 입력과 고정된 토큰 경로 (교사 강제) 에 대해, 시스템은 효율성 행동만 다른 $K$ 개의 서로 다른 계산 스케줄 (궤적) 을 샘플링합니다.
보상 함수: 보상은 언어 모델 품질 (토큰 로그 가능도) 과 요청된 예산 목표에서 벗어남에 대한 연속적 패널티 사이의 균형을 맞춥니다. 예산 목표는 정책의 입력 특징으로 제공되어 단일 정책이 다양한 효율성 체제에서 작동할 수 있게 합니다.
신용 할당: 에피소드 지평선 내의 지연된 효과에 대한 신용을 할당하기 위해 할인된 귀향 (return-to-go) 이 사용됩니다.

추론

추론 시, 정책은 현재 은닉 상태와 요청된 예산 목표를 기반으로 행동을 탐욕적으로 선택합니다. 컨트롤러는 제어 지평선에 비례하는 최소한의 고정 오버헤드를 발생시킵니다.

주요 기여

학습 가능한 토큰별 예산 할당: 기본 LLM 을 고정된 채로 유지하면서 각 단계에서 동적으로 계산을 할당하는 경량 정책 도입.
통합 효율성 제어: 단일 메커니즘을 튜닝하는 대신, 정책이 어텐션 희소성, MLP 가지치기, 양자화를 동시에 제어하는 통합 행동 공간에서 작동.
GRPO 를 통한 제어 가능한 효율성: 요청된 예산 목표를 신뢰성 있게 달성하면서 품질을 극대화하는 정책을 학습하기 위한 교사 강제 반사실 궤적과 그룹 상대적 최적화를 사용한 실용적인 훈련 레시피.
파레토 최적 성능: 정적 할당 및 무작위 탐색에 비해 더 나은 품질 - 효율성 파레토 프론티어를 발견.

실험 결과

저자들은 다양한 모델 계열 (Llama-3.2-1B, 3B 및 Llama-3.1-8B-Instruct) 과 효율성 체제에 걸쳐 SOL 을 평가했습니다.

품질 - 효율성 트레이드오프: 모든 실험에서 SOL 은 일치된 순 유지율 (net keep-rates) 에서 고정 (정적) 베이스라인 전략보다 일관되게 낮은 퍼플렉시티를 달성합니다. 이 개선은 행동 공간이 8 개에서 1,560 개의 이산적 선택지로 커짐에 따라 유지됩니다.
예산 준수: 정책은 토큰 유지율, 가지치기 유지율, 양자화 비율과 같은 요청된 예산 목표를 높은 충실도로 성공적으로 추적하며, 요청 대 실현 플롯에서 항등선 근처에 위치합니다.
하류 정확도: 하류 작업 (MMLU, ARC, PiQA, Winogrande, GSM8K) 에서 SOL 은 일치된 계산 예산에서 균일한 예산 할당 전략 대비 최대 **7.3%**까지 정확도를 향상시킵니다.
탐색과의 비교: SOL 은 무작위 스케줄 풍경의 하한선을 추적하며, 테스트된 대부분의 작동 지점에서 "best-of-500" 무작위 탐색을 능가합니다.
지평선 민감도: 이 방법은 다양한 제어 지평선 ( $T=4, 16, 64$ ) 에서 효과적으로 유지되며, 지평선이 증가함에 따라 일반적으로 성능이 향상되어 KV 오염 관리 전략에 대한 견고성을 보여줍니다.

중요성과 주장

이 논문은 SOL 이 효율성 최적화의 직교 축을 연다고 주장합니다. "8 비트 양자화"나 "50% 희소성"과 같은 단일 정적 작동 지점을 선택하는 이전 작업과 달리, SOL 은 생성 난이도와 서비스 제약에 기반하여 토큰당 얼마나 계산을 할당할지 학습합니다.

저자들은 이 접근 방식이 배포 시 제어 가능성을 가능하게 한다고 강조합니다. 즉, 단일 정책이 재훈련 없이 다양한 예산 요구 사항에 적응할 수 있습니다. 계산 할당을 단계별 휴리스틱이 아닌 순차적 의사결정 문제로 취급함으로써 SOL, 정적 방법이 무시하는 효율성 결정의 시간적 의존성 (KV 오염) 을 해결합니다. 이 연구는 "계산이 중요한 곳에서 계산"하는 법을 학습하는 것이 LLM 추론 효율성을 개선하기 위한 전통적인 압축 기법에 대한 보완적 경로임을 시사합니다.