📈 economics

Supervised Fine-Tuning vs. In-Context Learning: An Equilibrium Analysis of LLM Personalization under Congestion

이 논문은 자원 혼잡 상황에서 거대언어모델(LLM) 개인화를 위한 지도 미세 조정(Supervised Fine-Tuning)과 인컨텍스트 학습(In-Context Learning) 사이의 전략적 절충 관계를 분석하는 다루기 쉬운 프레임워크를 구축하며, 두 방법을 모두 제공하는 것이 플랫폼에게는 항상 수익성이 있는 반면 사용자 균형 선택은 사전 학습 품질 및 작업 난이도에 대해 비단조적 민감도를 보인다는 점을 밝혀낸다.

원저자: Fengzhuo Zhang, Zhuoran Yang, Dirk Bergemann

게시일 2026-07-17

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Fengzhuo Zhang, Zhuoran Yang, Dirk Bergemann

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신이 아주 까다로운 퍼즐을 풀려고 노력 중이라고 상상해 보세요. 그런데 혼자 하는 대신, 거의 모든 도서관의 책을 읽은 초지능 로봇 친구와 함께하고 있습니다. 이 로봇은 대규모 언어 모델(LLM)입니다. 이 로봇은 일반적인 지식에는 뛰어나지만, 희귀한 의학적 상태를 분석하거나 특정 금융 트렌드를 해독하는 것과 같은 매우 구체적인 작업에는 가끔 막히곤 합니다. 로봇을 돕기 위해, 당신은 대화 중에 바로 몇 가지 예시가 담긴 '치트 시트'를 줄 수 있습니다(이것을 **인컨텍스트 러닝(In-Context Learning, ICL)**이라고 합니다). 이것은 친구에게 힌트를 속삭여 주는 것처럼 빠르고 쉽습니다. 또는, 당신의 작업을 위해 거대한 데이터셋을 사용하여 로봇의 뇌를 구체적으로 재학습시키는 데 시간을 들일 수도 있습니다(이것을 **지도 미세 조정(Supervised Fine-Tuning, SFT)**이라고 합니다). 이것은 강력하며 로봇을 진정한 전문가로 만들지만, 무겁고 느리며 많은 에너지가 소비됩니다.

이제, 수백만 명의 사람들이 단일 공유 컴퓨터 네트워크에서 동시에 이 로봇들을 사용하려고 한다고 상상해 보세요. 만약 모두가 동시에 로봇을 재학습시키려 한다면, 네트워크는 마치 출퇴근 시간의 고속도로처럼 꽉 막힐 것입니다. 모두가 더 오래 기다려야 하고, 서비스 비용도 올라갑니다. 이 논문은 다음과 같은 매혹적인 질문을 던집니다. 당신이 이 붐비는 디지털 고속도로에 있다면, 힌트를 속삭여야 할까요(ICL), 아니면 뇌를 다시 설계해야 할까요(SFT)? 다른 모든 사람이 어떤 선택을 하는지가 당신에게 최선인지의 여부가 달라질까요? 저자들은 이를 하나의 거대한 전략 게임으로 다루며, 당신의 선택이 다른 모든 사람에게 미치는 영향을 고려하여, 훌륭한 답변을 얻는 것과 디지털 교통 체증에 갇히지 않는 것 사이의 완벽한 균량을 찾기 위해 수학을 사용합니다.

로봇의 위대한 논쟁: 힌트 속삭이기 vs. 뇌 재설계하기

자, 당신에게는 백만 명의 사용자가 있고, 제한된 컴퓨터 자원이 있으며, AI를 더 똑똑하게 만드는 두 가지 방법이 있습니다. 이 논문의 저자들은 이것이 어떻게 전개되는지 보기 위해 수학적 모델을 구축했습니다. 그들은 단순히 추측한 것이 아니라, 사용자들의 '연속체'(몇 명의 개인이 아닌, 매끄럽고 끝없는 흐름으로 생각하세요)를 만들어내고, 사용자들이 가벼운 **인컨텍스트 러닝(ICL)**과 무거운 지도 미세 조정(SFT) 사이에서 선택해야 할 때 어떻게 행동하는지 관찰했습니다.

여기 반전이 있습니다: '최선'의 선택은 모두에게 동일하지 않습니다. 그것은 두 가지 주요 요소, 즉 로봇이 이미 당신의 주제에 대해 얼마나 알고 있는지(사전 학습 범위)와 데이터의 신호가 얼마나 명확한지(신호 대 잡음비)에 달려 있습니다.

개인화를 위한 '골디락스' 존
논문에 따르면, 만약 로봇의 사전 학습이 이미 당신의 주제를 잘 다루고 있고 당신의 데이터가 명확하다면, SFT(무거운 재학습)가 승리합니다. 이것은 자동차를 고치기 위해 전문가를 고용하는 것과 같습니다. 적절한 도구와 명확한 문제가 있다면, 그들은 완벽하게 고칠 수 있습니다. 하지만 로봇이 당신의 주제에 대해 거의 알지 못하거나 데이터가 지저지고 노이즈가 많다면, ICL(힌트 속삭이기)이 실제로 승리합니다. 왜일까요? 로봇이 아무것도 모르는 주제에 대해, 그리고 지저분한 데이터를 가지고 재학습을 시도하는 것은 물고기에게 나무를 타라고 가르치는 것과 같습니다. 당신은 그저 로봇을 혼란스럽게 만들고 상황을 악화시킬 뿐일 수도 있습니다. 이런 경우에는 그냥 채팅창에 몇 가지 예시를 주고, 로봇이 이미 알고 있는 것을 바탕으로 최선을 다하게 하는 것이 더 안전합니다.

교통 체증의 서프라이즈
가장 놀라운 부분은 '혼잡도'(교통 체증)가 규칙을 어떻게 바꾸느냐 하는 것입니다. 저자들은 로봇의 성능과 그것이 유발하는 교통량 사이의 관계가 직선이 아니라는 것을 발견했습니다.

더 나은 사전 학습은 보통 도움이 됩니다: 로봇이 더 나은 뇌(높은 정밀도)로 시작하면, 사람들은 컴퓨팅 자원을 덜 사용하게 되어 교통 체증이 줄어듭니다.
하지만 더 넓은 범위는 정체를 유발할 수 있습니다: 로봇이 더 많은 주제를 배우면(더 넓은 범위), 어떤 상황에서는 오히려 교통을 악화시킬 수 있습니다. 이는 마치 고속도로에 갑자기 차선을 더 추가하는 것과 같습니다. 사람들은 도로가 더 쉬워 보이기 때문에 더 많이 운전하기로 결정할 것이고, 결국 새로운 종류의 격차를 유발할 것입니다.
어려운 작업은 길을 비워줍니다: 작업이 정말 어렵고 노이즈가 많으면, 사람들은 비용을 피하기 위해 로봇을 개인화하는 것을 아예 포기할 수도 있으며, 이는 실제로 교통량을 줄여줍니다!

플랫폼의 딜레마
마지막으로, 이 논문은 AI 서비스를 운영하는 회사(플랫폼)를 살펴봅니다. 그들은 돈을 벌고 싶어 하므로 가격을 설정합니다. 저자들은 매우 직관에 어긋나는 사실을 증명했습니다: 두 가지 옵션(SFT와 ICL)을 모두 제공하는 것이 플랫폼의 이익을 결코 해치지 않는다는 것입니다. SFT를 추가하는 것이 서버에 전체 부하를 증가시킬 수는 있지만, 사용자들에게 더 많은 선택권을 줍니다. 어떤 사용자들은 SFT가 저렴할 때 그쪽으로 전환하여 수요를 높일 것이고, 다른 사용자들은 ICL을 고수할 것입니다. 플랫폼은 SFT와 ICL 중 하나만 제공하든 둘 다 제공하든, 최대 이익을 낼 수 있는 가격 지점을 항상 찾을 수 있습니다. 실제로 데이터에 따르면, 두 가지 방법을 모두 제공하는 플랫폼의 비율은 2021년 9.5%에서 2025년 71.4%로 급증했으며, 이는 시장이 수학적 예측대로 움직이고 있음을 시사합니다.

결과로 증명된 이론
저자들은 자신들의 수학이 그저 예쁜 이론이 아니라는 것을 증명하기 위해, GPT-2 모델을 간단한 수학 문제(선형 회귀)로 학습시켰습니다.

그들은 모델에 더 많은 예시를 줄수록(ICL), 모델이 보지 못한 부분들로 인해 발생하는 '천장'에 부딪혀 오차가 더 이상 개선되지 않는다는 것을 발견했습니다.
또한 그들은 예측했던 '반전'을 확인했습니다: 예시가 매우 적을 때는 ICL이 더 좋았지만, 수백 개의 예시가 있으면 SFT가 주도권을 잡았습니다.
심지어 21개의 주요 AI 기업으로부터 얻은 실제 데이터를 통해, 두 가지 방법을 모두 제공하는 추세가 실재하며 성장하고 있음을 확인했습니다.

요약하자면, 이 논문은 AI를 개인화하는 것이 단순히 "최선의" 도구를 고르는 문제가 아니라, AI가 이미 무엇을 알고 있는지, 당신의 데이터가 얼마나 지저분한지, 그리고 디지털 고속도로가 얼마나 붐비는지 사이의 복잡한 춤이라는 것을 알려줍니다. "올바른" 선택은 당신 개인의 필요가 아니라 전체 시스템에 달려 있습니다. 그리고 이 판을 짜는 기업들에게는? 메뉴에 다양한 옵션을 제공하는 것이 언제나 가장 현명한 전략입니다.

기술 요약: 혼잡 상황에서의 지도 미세 조정(SFT) 대 인컨텍스트 학습(ICL)

문제 정의

대규모 언어 모델(LLM)은 AI 서비스를 혁신했지만, 개인화와 자원 희소성 사이에는 결정적인 경제적 긴장이 존재한다. 개인화(지도 미세 조정(SFT) 또는 인컨텍스트 학습(ICL)을 통해)는 도메인 특화 작업에서 모델 성능을 향상시키지만, 공유된 계산 자원을 소비한다. 수천 명의 사용자가 공유 인프라 상에서 동시에 모델을 개인화할 때 혼잡이 발생한다: 각 사용자의 방법론 및 샘플 크기 선택은 자신의 비용뿐만 아니라 타인의 대기 시간과 지연 시간에도 영향을 미친다.

본 논문은 세 가지 주요 질문을 다룬다:

알고리즘 선택: 혼잡이 없는 상태에서, 통계적 원형(statistical primitives)에 기반하여 사용자는 SFT와 ICL 중 무엇을 선택해야 하는가?
균형 행동: 공유된 제약 조건이 있는 자원 환경에서, 사용자는 개인화 품질과 혼잡 비용 사이의 절충안을 어떻게 결정하는가?
플랫폼 설계: 자원이 희소할 때, 플랫폼은 서비스 메뉴(SFT, ICL 또는 둘 다 제공)와 가격 책정 전략을 어떻게 설계해야 하는가?

기존 문헌은 종종 스케일링 법칙(scaling laws)이나 정형화된 행동 가정에 의존하며, 개인화 알고리즘 간의 근본적인 차이와 수백만 명의 사용자 규모에서 발생하는 전략적 상호작용을 놓치고 있다. 본 논문은 통계적 학습 이론과 혼잡 경제학 사이의 간극을 메우고자 한다.

방법론

저자들은 LLM의 통계적 모델링과 연속체 사용자(continuum-user) 게임 이론 모델을 결ền합한 다루기 쉬운 프레임워크를 개발한다.

1. 개인화의 통계적 모델

본 논문은 LLM 개인화를 선형 회귀 문제로 모델링한다.

사전 학습(Pretraining): 크기가 $N$ 인 데이터셋으로부터 태스크 파라미터 $\theta$ 에 대한 사전 분포를 학습하는 것으로 추상화된다. 사전 학습된 모델은 학습된 사전 평균 $\theta_{pre}$ 와 공분산 $\Sigma_{pre}$ 에 대응한다.
인컨텍스트 학습(ICL): 근사 베이지안 추론으로 모델링된다. 모델은 파라미터를 업데이트하지 않고, 프롬프트에 제공된 $N$ 개의 개인화 샘플을 통해 학습된 사전 확률을 조건화함으로써 타겟 태스크 $\theta^*$ 에 대한 신념을 업데이트한다.
지도 미세 조정(SFT): 사전 학습된 초기값으로부터 시작하여 태스크 특화 데이터를 사용하여 모델 파라미터를 업데이트하는 정규화된 추정치로 모델링된다. 이는 더 높은 계산 비용(FLOPs 및 메모리)을 발생시키지만, 사전 학습된 부분 공간(subspace) 너머로 적응할 수 있게 한다.

저자들은 두 방법의 평균 제곱 오차(MSE)에 대한 폐쇄형 식(closed-form expressions)을 유도하며, 이를 사전 학습에서 상속된 성분, 데이터 노이즈, 그리고 알고리즘 특유의 불확실성 성분으로 분해한다.

2. 연속체 사용자 모델 (LLM 서빙 혼잡 게임)

상호작용은 연속체 사용자를 가진 **LLM 서빙 혼잡 게임(LSCG)**으로 모델링된다.

사용자 유형: 사용자는 타겟 태스크의 통계적 특성과 사전 학습 모델의 특성(예: 차원 $d$ , 사전 학습 커버리지 $r$ , 신호 대 잡음비 등)을 요약하는 유형 $t$ 로 특징지어진다.
행동: 각 사용자는 개인화 알고리즘 $a \in \{ICL, SFT\}$ 와 샘플 수 $\tilde{N}$ 을 선택한다.
비용 함수: 사용자의 총 비용은 학습 오차(통계적 성능)와 자원 비용의 합으로 구성된다. 자원 비용은 단위 자원당 화폐 가격과 혼잡에 의한 시간 비용 $h(R)$ 을 포함한다. 여기서 $R$ 은 총 자원 수요이다.
균형: 본 논문은 이 연속체 설정에서의 내쉬 균형을 정의한다. 여기서 거의 모든 사용자는 총 혼잡 수준이 주어졌을 때 자신의 비용을 최소화하며, 혼잡 수준은 모든 사용자의 총체적 행동과 일치한다.

주요 기여 및 결과

1. 통계적 절충: SFT 대 ICL

분석 결과, SFT가 ICL보다 우월해지는 시점에 대한 정밀한 임계값이 사전 학습 커버리지( $R = r/(d-r)$ )와 미커버 영역에서의 신호 대 잡음비(SNR)( $\kappa$ )에 의해 결정됨을 밝혀냈다.

발견: 사전 학습 커버리지가 낮고 데이터가 노이즈가 많거나 제한적인 경우 ICL이 최적이다. 이 체제에서 ICL의 보수성(사전 학습된 부분 공간 내에서만 업데이트함)은 제대로 지원되지 않는 방향을 학습하려는 SFT의 높은 분산을 방지한다.
발견: 사전 학습 커버리지가 높고 데이터가 정보가 풍부할 때는 SFT가 우세하다. SFT는 사전 학습에서 커버되지 않은 방향에서도 오차를 줄일 수 있는 반면, ICL은 해당 방향에서 고정된 불가피한 편향(bias)을 갖는다.
검증: 선형 회귀 태스크에 대한 GPT-2 실험을 통해, ICL 오차는 커버되지 않은 차원에 의해 결정되는 편향에서 정체되는 반면, SFT 오차는 샘플 크기에 따라 계속 감소함을 확인했다.

2. 균형 혼잡 역학

본 논문은 균형 혼잡 수준 $R^*$ 의 존재와 유일성을 증명한다. 결정적으로, 시스템 파라미터와 혼잡 사이의 관계는 **비단조적(non-monotonic)**이다:

사전 학습 정밀도: 정밀도( $\pi$ )가 높아지면 사용자가 비싼 온라인 개인화에 덜 의존하게 되므로 항상 혼잡을 감소시킨다.
사전 학습 커버리지: 중간 체제에서 커버리지( $r$ )를 높이면 혼잡이 오히려 증가할 수 있다. 커버리지가 확장됨에 따라 사용자들이 새로 커버된 차원을 활용하기 위해 ICL에서 SFT로 전환하거나(확장적 한계) 샘플 크기를 늘릴 수 있으며(집약적 한계), 이는 일시적으로 총 수요를 높인다.
태스크 난이도: 어려운 태스크(높은 노이즈)는 사용자의 개인화 시도를 저해함으로써 혼잡을 줄일 수 있다.
SFT 비용: SFT의 자원 비용을 높이면, 사용자들이 SFT를 사용하다가 ICL로 대체하기 전까지는 처음에 혼잡을 증가시킬 수 있으나, 결국에는 ICL으로의 대체로 인해 혼잡을 감소시킨다.

3. 플랫폼 전략 및 수익성

본 논문은 (가격 $p$ 를 설정하여 이익을 극대화하는) 스태켈버그(Stackelberg) 전략을 분석한다.

가격 책정: 균형 혼잡 수준은 단위 자원 가격에 대해 감소한다. 정칙성 조건 하에서 이익을 극대화하는 가격은 유한하다.
메뉴 설계: 저자들은 SFT와 ICL을 모두 제공하는 것이 ICL만 제공하는 것보다 플랫폼의 최대 이익을 낮추지 않는다는 것을 증명한다. SFT를 추가하면 총 자원 소비(및 그에 따른 혼잡)를 높일 가능성이 있지만, 이를 통해 고성능-고비용 옵션을 선호하는 사용자로부터 잉여를 포착할 수 있다.
경험적 증거: 21개의 주요 AI 플랫폼을 검토한 결과, SFT와 ICL을 모두 제공하는 점유율이 2021년 9.5%에서 2025년 71.4%로 증가했음을 보여주며, 이는 다양한 개인화 옵션이 수익성이 높다는 이론적 예측과 일치한다.

의의 및 주장

본 논문은 단순한 토큰당 가격 책정을 넘어, 알고리즘적 특성이 어떻게 전략적 상호작용을 형성하는지를 포착하는 행동 기반 모델을 개발함으로써 신흥 AI 경제학 문헌에 기여한다고 주장한다.

이론적 참신함: 고전적인 혼잡 게임 이론(피크 로드 가격 책정)을 LLM의 구체적인 통계적 특성과 연결한다. 물리적 네트워크 제약에 의한 전통적인 인프라 혼잡과 달리, 본 논문은 개인화 방법의 알고리즘적 특성(예: SFT와 ICL이 자원 집약도 및 오차 감소 측면에서 어떻게 다른지)에 의해 발생하는 새로운 형태의 혼잡을 강조한다.
실무적 관련성: 본 프레서는 추가된 복잡성과 부하에도 불구하고 주요 플랫폼들이 SFT API를 빠르게 채택하는 이유를 설명한다. 또한, 단일 표준화된 방법보다는 다양한 개인화 옵션의 메뉴를 제공하는 것이 왜 플랫폼에 유리한지에 대한 이론적 근거를 제공한다.
정책적 시사점: 혼잡의 비단조적 특성은 단순히 사전 학습 모델을 개선하거나 자원을 늘리는 것만으로는 혼잡을 선형적으로 줄이지 못할 수 있음을 시사한다. 즉, 플랫폼 설계 시 사용자가 이러한 변화에 반응하여 알고리즘과 샘플 크기 사이에서 어떻게 이동하는지를 반드시 고려해야 한다.

저자들은 GPT-2 실험과 산업 데이터를 사용하여 이론적 예측을 검증하였으며, 이를 통해 LLM 행동의 선형 근사가 혼잡한 환경에서의 SFT와 ICL 간의 핵심적인 절충안을 효과적으로 포착함을 입증하였다.