Efficient Compositional Multi-tasking for On-device Large Language Models

이 논문은 온디바이스 환경에서 단일 예제가 여러 작업을 동시에 수행해야 하는 복합적 멀티태스킹 문제를 해결하기 위해, 새로운 벤치마크와 효율적인 '학습 가능한 보정' 방법을 제안합니다.

핵심

이 논문은 **"작은 스마트폰에 들어가는 인공지능 (LLM) 이 여러 일을 한 번에 잘 해내는 방법"**에 대한 연구입니다.

기존의 인공지능은 보통 한 번에 한 가지 일만 잘하도록 훈련되었습니다. 하지만 현실에서는 "이 긴 글을 요약해서 스페인어로 번역해 줘"처럼 여러 가지 일을 동시에 해야 하는 경우가 많습니다. 이 논문은 바로 이런 **'복합적인 작업'**을 스마트폰 같은 작은 기기에서도 빠르고 효율적으로 해결하는 방법을 제안합니다.

이 내용을 이해하기 쉽게 세 가지 비유로 설명해 드릴게요.

---

1. 문제 상황: "한 번에 두 마리 토끼를 잡으려면?"

상상해 보세요. 당신이 **요리사 (인공지능)**를 고용했다고 칩시다.

• 요리사 A 는 **요리 (요약)**만 잘합니다.
• 요리사 B 는 **번역 (번역)**만 잘합니다.

이제 손님이 "이 긴 레시피를 요약해서 프랑스어로 써줘"라고 주문합니다.

• 기존 방식 (비효율적): 요리사 A 가 먼저 요약해서 종이에 적고, 그 종이를 요리사 B 에게 넘겨서 프랑스어로 번역하게 합니다.
  • 단점: 두 번이나 일을 해야 하므로 시간이 오래 걸리고, 종이를 여러 장 써야 해서 메모리 (저장 공간) 를 많이 차지합니다.
• 기존 기술의 한계 (모델 병합): 요리사 A 와 B 의 기술을 섞어서 새로운 요리사 C 를 만들었습니다. 하지만 이 요리사 C 는 "요리만 하거나 번역만 하거나"는 잘해도, "요리하면서 동시에 번역하는" 복잡한 주문에는 당황해서 실패합니다.

이 논문은 **"한 명의 요리사가 한 번의 작업으로 두 가지 일을 완벽하게 해낼 수 있는 방법"**을 찾았습니다.

2. 제안된 해결책: "요리사에게 '맞춤형 안경'을 씌우다"

저자들은 이미 스마트폰에 설치된 여러 가지 요리사 (요약 전문, 번역 전문 등) 들이 있다고 가정합니다. 이들을 모두 새로 만드는 건 너무 비싸고 무겁습니다.

그래서 제안한 방법은 **'Learnable Calibration (학습 가능한 보정)'**입니다.

• 비유: 이미 잘하는 요리사 (기존 모델) 들을 한 번에 섞어서 '혼합 요리사'를 만든 뒤, 그에게 아주 작은 **'맞춤형 안경'**을 씌워주는 것입니다.
• 작동 원리:
  1. 혼합: 요약 전문 요리사와 번역 전문 요리사의 기술을 간단히 섞습니다 (이건 기존 기술로 가능).
  2. 보정 (핵심): 섞인 요리사가 "아, 내가 두 가지 일을 동시에 하려면 이 부분에서 조금 더 집중해야겠구나"라고 깨닫게 해주는 아주 작은 **보정 파라미터 (안경)**를 학습시킵니다.
  3. 결과: 이 '안경'은 데이터 양이 매우 적어서 스마트폰 저장 공간을 거의 차지하지 않지만, 요리사가 한 번의 작업으로 요약과 번역을 동시에 완벽하게 해내도록 도와줍니다.

3. 왜 이것이 중요한가요? (실생활 예시)

이 기술이 스마트폰에 적용되면 어떤 일이 일어날까요?

• 해외 여행 중: 친구가 보낸 긴 영어 이메일을 보고, "이 내용 요약해서 한국어로 알려줘"라고 말합니다.
  • 과거: 이메일을 요약하는 앱과 번역하는 앱을 번갈아 켜야 했거나, 서버로 보내야 해서 느리고 개인정보가 유출될 우려가 있었습니다.
  • 이제: 스마트폰 안에서 한 번에 요약과 번역이 끝납니다. 빠르고, 내 데이터는 내 기기 안에만 남습니다.

4. 이 연구의 핵심 성과

1. 새로운 기준 (벤치마크) 마련: "요약 + 번역", "답장 + 톤 조절" 등 실제 생활에 필요한 4 가지 복합 작업을 테스트할 수 있는 기준을 만들었습니다.
2. 효율성 극대화: 기존에 여러 번 작업을 거치던 방식 (비효율적) 과는 달리, **한 번의 작업 (Single Inference)**으로 해결하면서도 성능은 비슷하거나 더 좋습니다.
3. 저장 공간 절약: 새로운 요리사를 만드는 게 아니라, 기존 요리사에게 아주 작은 '보정 도구'만 추가하므로 스마트폰 저장 공간을 거의 차지하지 않습니다.

요약

이 논문은 **"작은 스마트폰에서도 인공지능이 여러 일을 동시에 잘하게 하려면, 무거운 새 모델을 만드는 게 아니라, 기존 모델에 아주 작고 똑똑한 '보정 장치'를 달아주면 된다"**는 것을 증명했습니다.

이는 앞으로 우리가 스마트폰으로 복잡한 작업을 할 때, 더 빠르고, 더 편리하며, 더 안전하게 인공지능을 사용할 수 있는 길을 열어줍니다.

기술 요약

1. 문제 정의 (Problem Definition)

• 배경: 대규모 언어 모델 (LLM) 은 다양한 자연어 처리 작업에서 뛰어난 성능을 보이지만, 모바일 기기 등 리소스가 제한된 환경 (On-device) 에서는 저장 공간과 계산 능력의 제약으로 인해 여러 작업을 동시에 수행하는 것이 어렵습니다.
• 기존 접근법의 한계:
  • 단일 작업 중심: 기존 모델 병합 (Model Merging) 연구는 각 테스트 예시가 오직 단일 작업만 수행하는 시나리오에 국한되어 있었습니다.
  • 비효율적인 파이프라인: 하나의 입력에 대해 여러 작업 (예: 요약과 번역을 동시에 수행) 을 처리하기 위해 여러 개의 어댑터 (Adapter) 를 순차적으로 적용하거나 (Multi-step), 별도의 합성 작업용 어댑터를 훈련시키는 방법은 추론 시간이 길고 저장 공간이 많이 필요하여 온디바이스 환경에 적합하지 않습니다.
• 핵심 과제: **구성적 다중 작업 (Compositional Multi-tasking)**을 온디바이스 LLM 에서 효율적으로 해결하는 것입니다. 즉, 단일 추론 단계 (Single inference pass) 로 하나의 입력에 대해 여러 작업 (예: 긴 텍스트 요약 + 특정 언어 번역, 또는 대화 응답 + 어조 조절) 을 동시에 수행하면서도, 저장 공간과 계산 비용을 최소화하는 방법입니다.

2. 제안 방법: Learnable Calibration (Methodology)

저자들은 기존 단일 작업용 어댑터 (LoRA) 들을 병합한 후, 소수의 추가 파라미터를 학습시켜 구성적 작업을 해결하는 Learnable Calibration 방법을 제안합니다.

• 기본 아이디어:

  • 온디바이스에 이미 존재하는 개별 작업용 LoRA 어댑터들 (예: 요약용, 번역용) 을 선형적으로 병합 (Linear Merging) 하여 초기 가중치를 생성합니다.
  • 이 병합된 가중치 위에 **학습 가능한 보정 파라미터 (Calibration Parameters, $P$)**를 추가하여 구성적 작업의 복잡성을 보정합니다.
  • 이 과정은 서버 측에서 사전 학습 (Pre-training) 되며, 온디바이스에서는 병합된 가중치와 보정 파라미터만 로드하여 단일 추론을 수행합니다.

• 수식적 표현:

  • 기존 LoRA 업데이트: $\Delta W = BA$
  • 제안된 보정된 업데이트: $\Delta W^c = f(P, \{B_i, A_i\}) + \Delta W'$
  • 여기서 $f$는 보정 파라미터 $P$를 병합된 단일 작업 LoRA ($\Delta W'$) 에 적용하는 함수입니다.

• 두 가지 변형 (Variations):

  1. Variation #1 (Learnable Calibration): 병합된 LoRA 행렬에 적용되는 열별 편향 벡터 (Column-wise bias vector) $p$를 학습합니다. 저장 공간이 매우 적습니다.
  2. Variation #2 (Learnable Calibration++): 병합된 LoRA 위에 새로운 저랭크 행렬 (Low-rank matrices) $P_2 P_1$을 추가합니다. 더 많은 파라미터를 사용하여 더 높은 성능을 달성합니다.

• 효율성:

  • 추가 파라미터 수는 전체 모델 파라미터의 0.08~0.56% 수준으로 매우 적습니다.
  • 디스크 저장 공간은 0.5MB 미만으로, 온디바이스 배포에 적합합니다.
  • 기존 어댑터를 재사용하므로 새로운 어댑터를 매번 훈련할 필요가 없습니다.

3. 벤치마크 및 데이터셋 (Benchmark)

이 연구를 위해 온디바이스 환경에 적합한 4 가지 실용적인 구성적 작업으로 구성된 새로운 벤치마크를 개발했습니다.

• 주요 작업 (Main Task): 요약 (Summarization) 또는 응답 생성 (Reply Suggestion).
• 보조 작업 (Auxiliary Task): 번역 (Translation: EN→ES, FR, DE) 또는 어조 조절 (Tone Adjustment: 전문적, 캐주얼, 재치, 문장 재구성).
• 작업 조합 (14 개 하위 작업):
  • 요약 + 번역
  • 요약 + 어조 조절
  • 응답 + 번역
  • 응답 + 어조 조절
• 평가 지표: ROUGE-L, Weighted ROUGE (W-R), 그리고 LLM Judge (LLM-3.1 70B 를 활용한 자동 평가) 를 사용하여 정량적 및 정성적 성능을 측정했습니다.

4. 주요 실험 결과 (Key Results)

실험은 LLaMA 3.2 (1B), Qwen2.5 (1.5B), StableLM2 (1.6B) 와 같은 온디바이스용 소형 모델에서 수행되었습니다.

• 기존 방법의 실패:
  • Zero-shot, In-context learning, 단순 병합 (Linear, TIES, DARE 등) 전략들은 구성적 다중 작업에서 성능이 매우 낮았습니다 (예: LLM Judge 점수 0~10% 대).
  • 이는 기존 병합 기법들이 단일 작업 간섭을 해결하는 데는 효과적이지만, 동시에 여러 작업을 수행하는 복잡한 시나리오에는 부적합함을 시사합니다.
• 비효율적 Baseline 과의 비교:
  • Multi-step LoRA (여러 번의 추론) 나 Joint-expert LoRA (각 조합마다 별도 훈련) 는 높은 성능을 보였으나, 추론 시간이 길고 저장 공간이 많이 필요하다는 치명적인 단점이 있었습니다.
• Learnable Calibration 의 성과:
  • 제안된 방법은 **단일 추론 (Single inference pass)**으로 비효율적 Baseline 과 유사하거나 더 나은 성능을 달성했습니다.
  • 특히 **Learnable Calibration++**은 모든 벤치마크에서 가장 높은 성능을 보였으며 (예: 요약+번역 LLM-J 점수 65.15%), 저장 공간과 계산 비용 측면에서 매우 효율적이었습니다.
  • 파라미터 공유: 모든 구성적 작업에 동일한 보정 파라미터를 공유하더라도 대부분의 Baseline 보다 우수한 성능을 유지하여 저장 효율성을 더욱 높일 수 있음을 확인했습니다.

5. 주요 기여 (Key Contributions)

1. 새로운 도전 과제 제시: 온디바이스 LLM 에서의 '구성적 다중 작업 (Compositional Multi-tasking)' 문제를 정의하고, 단일 추론으로 여러 작업을 동시에 수행해야 하는 필요성을 강조했습니다.
2. 새로운 벤치마크 개발: 요약/응답과 번역/어조 조절을 결합한 4 가지 실용적인 작업으로 구성된 평가용 벤치마크를 공개했습니다.
3. Learnable Calibration 방법론 제안: 기존 어댑터를 기반으로 소수의 추가 파라미터만 학습하여 높은 성능과 효율성을 동시에 달성하는 새로운 방법을 제시했습니다.
4. 실용적 타당성 입증: 제한된 리소스 환경에서도 고성능을 유지할 수 있음을 실험을 통해 입증하여, 실제 모바일 기기에서의 LLM 적용 가능성을 확장했습니다.

6. 의의 및 결론 (Significance)

이 논문은 LLM 이 실제 세계의 복잡한 시나리오 (예: 해외 여행 중 긴 문서 요약 및 번역, 상황에 맞는 어조 조절된 응답 생성 등) 에서 온디바이스로 작동할 수 있는 길을 열었습니다.

• 리소스 효율성: 별도의 대형 모델을 훈련하거나 여러 번의 추론을 수행할 필요 없이, 기존 어댑터를 유연하게 조합하고 미세 조정함으로써 저장 공간과 배터리 소모를 획기적으로 줄였습니다.
• 기술적 확장: 단순한 다중 작업 (Multi-tasking) 을 넘어, 여러 작업이 중첩된 '구성적' 작업을 해결하는 새로운 패러다임을 제시했습니다.
• 미래 전망: 이 연구는 모바일 AI, 개인 비서, 실시간 번역 및 요약 도구 등 다양한 온디바이스 애플리케이션의 성능과 활용도를 높이는 데 기여할 것으로 기대됩니다.