💬 NLP

YOCO++: Enhancing YOCO with KV Residual Connections for Efficient LLM Inference

이 논문은 YOCO 의 KV 캐시 압축 성능을 저하시키지 않으면서 모델 용량을 향상시키기 위해 하단 레이어 간 가중 잔차 연결을 도입한 YOCO++ 를 제안하고, 50% 압축률에서 기존 트랜스포머를 능가하는 최첨단 성능을 입증했습니다.

원저자: You Wu, Ziheng Chen, Yizhen Zhang, Haoyi Wu, Chengting Yu, Yuchi Xu, Wenbo Su, Bo Zheng, Kewei Tu

게시일 2026-04-16

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: You Wu, Ziheng Chen, Yizhen Zhang, Haoyi Wu, Chengting Yu, Yuchi Xu, Wenbo Su, Bo Zheng, Kewei Tu

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

🚀 YOCO++: 거대한 언어 모델의 '기억'을 효율적으로 관리하는 새로운 방법

이 논문은 거대한 인공지능 (LLM) 이 말을 할 때 필요한 **'기억 공간 (KV 캐시)'**을 줄이면서도, 지능은 그대로 유지하거나 오히려 더 똑똑하게 만드는 새로운 기술인 **YOCO++**를 소개합니다.

이해하기 쉽게 거대한 도서관과 비행기에 비유해서 설명해 드릴게요.

1. 문제점: 도서관이 너무 붐비고 있어요 (KV 캐시 병목 현상)

거대한 언어 모델 (LLM) 은 글을 읽거나 쓸 때, 지금까지 읽은 내용을 기억해야 합니다. 이 기억을 **'KV 캐시 (Key-Value Cache)'**라고 부르는데, 마치 도서관의 책장 같습니다.

문제: 문장이 길어질수록 책장이 엄청나게 커져서, 컴퓨터의 메모리 (책장 공간) 가 부족해집니다.
기존 해결책 (YOCO): "중간 층의 책만 남기고 나머지는 버리자!"라는 아이디어였습니다.
- 비유: 도서관의 1~~10 층은 책을 꽂아두지만, 11~~20 층은 10 층의 책만 복사해서 가져다 쓰는 방식입니다.
- 결과: 책장 공간은 절반으로 줄어든 대신, 정확도가 떨어졌습니다. (10 층의 책만으로는 11~20 층의 복잡한 질문을 완벽하게 답하기 어렵기 때문입니다.)

2. 새로운 해결책: YOCO++ (기억을 '혼합'하는 마법)

저자들은 "책장을 줄이는 건 좋지만, 지능이 떨어지면 안 된다"라고 생각했습니다. 그래서 **YOCO++**를 개발했습니다.

🧠 핵심 아이디어: "기억의 레시피"

기존 방식은 단순히 '중간 층의 책'을 가져다 썼다면, YOCO++ 는 **"아래층 (1 층) 의 책 + 현재 층의 책"**을 특별한 비율로 섞어서 사용합니다.

비유:
- 기존 YOCO: 10 층의 책만 복사해서 11 층에 가져다 놓음. (정보 손실 발생)
- YOCO++: 1 층의 책 (가장 기초적인 정보) 과 10 층의 책을 비율에 맞춰 섞어서 새로운 '하이브리드 책'을 만들어 11 층에 보관함.
- 효과: 1 층의 책이 가진 '핵심 정보'가 위층으로 계속 전달되므로, 지능이 떨어지지 않습니다.

⚖️ 중요한 장치: '스케일링 팩터 (Scaling Factor)'

처음에는 AI 가 이 '섞는 비율'을 어떻게 정할지 몰라, 그냥 1 층 책을 전혀 섞지 않고 10 층 책만 쓰게 됩니다 (기존 YOCO 와 똑같은 상태). 하지만 학습을 시키면 AI 가 "아, 1 층 책을 35% 정도 섞으면 더 잘하겠다!"라고 스스로 찾아냅니다.

비유: 처음엔 레시피를 몰라서 그냥 재료만 쓰다가, 요리사 (AI) 가 맛을 보며 "이제 소금 (1 층 정보) 을 조금 더 넣어야겠다"라고 조절하는 과정입니다.

3. 왜 이것이 획기적인가요? (효율성 vs 성능)

이 기술의 가장 큰 장점은 **"비행기 속도는 그대로인데, 승객은 더 많이 태울 수 있다"**는 점입니다.

속도 (효율성):
- 기존 YOCO 처럼 책장을 절반으로 줄였기 때문에, 기억 공간은 절반이 됩니다.
- 비행기 예시: 비행기 (컴퓨터) 의 연료 (메모리) 소모는 절반이 되었지만, 비행 속도 (처리 속도) 는 그대로 유지됩니다.
- 기존에 'FusedKV' 같은 다른 방법들은 책장을 줄이면서 책을 옮기는 횟수가 늘어나서 속도가 느려졌는데, YOCO++ 는 그런 손실이 없습니다.
성능 (지능):
- 단순히 책을 복사하는 게 아니라, 기초 정보 (1 층) 를 섞어서 위층으로 전달하므로, 오히려 표준 모델 (책장을 다 쓰는 모델) 보다 더 똑똑한 결과를 냅니다.
- 실험 결과, 상식 추론 테스트에서 기존 모델들보다 높은 점수를 받았습니다.

4. 한 줄 요약

"기억 공간 (메모리) 을 절반으로 줄이면서도, 가장 기초적인 정보 (1 층) 를 위층으로 계속 이어주는 '기억의 잔류 연결' 기술을 도입하여, 더 빠르고 더 똑똑한 AI 를 만들었습니다."

🎁 결론

YOCO++ 는 거대한 AI 모델을 우리 집 컴퓨터나 스마트폰에서도 더 가볍고 빠르게 실행할 수 있게 해주는 **차세대 '압축 기술'**입니다. 메모리 부족으로 AI 를 못 쓰던 시대는 이제 저물고, 더 효율적이고 똑똑한 AI 시대가 열린 셈입니다.

1. 문제 제기 (Problem)

대규모 언어 모델 (LLM) 의 추론 과정에서 키 - 밸류 (KV) 캐시는 메모리 병목 현상의 주요 원인입니다. 이를 해결하기 위해 다양한 KV 캐시 압축 기법이 제안되었으며, 그중 교차 레이어 (Cross-layer) 압축은 Transformer 의 일부 레이어 KV 만 유지하고 나머지 레이어에서 이를 재사용함으로써 메모리 소모를 줄이는 효과적인 방법입니다.

대표적인 방법인 YOCO (You Only Cache Once) 는 중간 레이어의 KV 를 상단 반쪽 레이어와 공유하는 방식을 사용합니다. 그러나 이러한 직접적인 KV 공유 방식은 모델의 용량 (Model Capacity) 을 약화시켜 성능 저하 (Performance Degradation) 를 초래하는 치명적인 단점이 있습니다. 기존에 이를 완화하기 위해 여러 레이어의 KV 를 가중치로 결합하는 방법 (예: FusedKV) 이 제안되었으나, 이는 추가적인 캐시 I/O 오버헤드를 유발하여 추론 효율성을 떨어뜨리는 문제가 있었습니다.

2. 방법론 (Methodology)

저자들은 YOCO 의 성능을 유지하면서 메모리 효율성을 해치지 않는 새로운 아키텍처인 YOCO++ 를 제안합니다. 핵심 아이디어는 KV 잔차 연결 (KV Residual Connections) 을 도입하는 것입니다.

KV 잔차 연결 도입:
- YOCO 의 하단 반쪽 레이어 (Bottom-half layers) 에서 각 레이어 $i$ 의 KV( $K_i, V_i$ ) 와 가장 하단 레이어 (Bottom layer, $K_1, V_1$ ) 의 KV 를 가중치로 결합합니다.
- 결합된 KV( $K'_i, V'_i$ ) 를 캐싱하여 상단 레이어에서 재사용합니다.
- 수식:
  $K'_i = \alpha^1_i K_1 + \alpha^2_i K_i$
  $V'_i = \alpha^1_i V_1 + \alpha^2_i V_i$
- 여기서 $\alpha$ 는 학습 가능한 잔차 가중치입니다.
스케일링 팩터 (Scaling Factor) 적용:
- 잔차 가중치가 초기화 값 (0 또는 1) 에 머무르며 학습되지 않는 문제를 해결하기 위해, 가중치 학습을 용이하게 하는 고정된 스케일링 팩터 $\lambda$ (실험적으로 35 로 설정) 를 도입합니다.
- 이를 통해 모델이 초기 상태 (기존 YOCO 와 동일) 를 유지하면서도 가중치가 효과적으로 학습되도록 합니다.
효율성 유지 전략:
- 메모리: 결합된 KV( $K', V'$ ) 만 캐싱하므로 YOCO 와 동일한 메모리 사용량 (50% 압축) 을 유지합니다.
- I/O 오버헤드: 디코딩 단계에서 이전 토큰의 캐시된 결합 KV 만 접근하면 되므로, 추가적인 I/O 오버헤드가 발생하지 않아 YOCO 와 동일한 추론 속도를 보장합니다.

3. 주요 기여 (Key Contributions)

YOCO++ 아키텍처 제안: 하단 레이어와 최하단 레이어 간의 KV 잔차 연결을 도입하여 YOCO 의 성능 저하 문제를 해결했습니다.
효율성과 성능의 동시 달성: 추가적인 캐시 I/O 오버헤드 없이 모델 용량을 향상시켜, 기존 YOCO 와 동일한 추론 효율성을 유지하면서도 성능을 크게 개선했습니다.
학습 안정화 기법: 잔차 가중치 학습을 돕기 위한 스케일링 팩터 ( $\lambda$ ) 를 도입하여 모델이 효과적으로 수렴하도록 했습니다.

4. 실험 결과 (Results)

TinyLlama(1.1B, 22 레이어) 아키텍처를 기반으로 한 실험 결과는 다음과 같습니다.

성능 (Performance):
- 50% KV 캐시 압축률에서 YOCO++ 는 교차 레이어 KV 압축 방법 중 SOTA(State-of-the-Art) 성능을 기록했습니다.
- 일반 Transformer 보다도 높은 평균 정확도 (HellaSwag, OBQA, WinoGrande 등) 를 달성했습니다. (예: 평균 정확도 48.99% vs Transformer 48.37%)
- YOCO(47.98%) 나 FusedKV(48.42%) 보다 우수한 성능을 보였습니다.
효율성 (Efficiency):
- Prefilling Latency: 표준 Transformer 대비 약 50% 단축 (YOCO 와 동일).
- Decoding Throughput: 메모리 사용량 감소로 더 큰 배치 크기를 지원하여, 표준 Transformer 보다 높은 처리량을 보였습니다.
- FusedKV 대비 우위: FusedKV 는 추가 I/O 오버헤드로 인해 처리량이 표준 Transformer 수준으로 떨어졌으나, YOCO++ 는 YOCO 와 동일한 높은 처리량을 유지했습니다.
Ablation Study:
- 스케일링 팩터 ( $\lambda$ ) 를 제거할 경우 YOCO 와 유사한 성능 저하가 발생하여, 스케일링이 학습에 필수적임을 확인했습니다.
- Key 잔차 연결을 제거할 경우 성능이 감소하여, Key 와 Value 모두에 잔차 연결이 필요함을 입증했습니다.

5. 의의 (Significance)

이 논문은 LLM 추론의 핵심 병목인 KV 캐시 메모리 문제를 해결하는 데 있어 효율성과 성능의 트레이드오프를 극복한 중요한 사례입니다.

기존의 교차 레이어 공유 방식이 가져오던 성능 저하를 잔차 연결 (Residual Connection) 메커니즘을 통해 해결하면서도, 추가적인 하드웨어 부하 (I/O 오버헤드) 없이 이를 달성했다는 점이 가장 큰 의의입니다. 이는 메모리 제약이 있는 환경 (예: 에지 디바이스, 고비용 GPU 환경) 에서 대규모 언어 모델을 효율적으로 배포하고 추론하는 데 새로운 표준을 제시합니다.