Less Is More: Engineering Challenges of On-Device Small Language Model Integration in a Mobile Application

다음은 모바일 애플리케이션 내 온디바이스 소형 언어 모델 (SLM) 통합의 공학적 도전을 다룬 논문 "Less Is More: Engineering Challenges of On-Device Small Language Model Integration in a Mobile Application"에 대한 상세 기술 요약입니다.

1. 문제 제기

이 논문은 온디바이스 소형 언어 모델 (SLM) 의 이론적 준비 상태와 이를 프로덕션 모바일 애플리케이션에 통합하는 실제 공학적 현실 사이의 상당한 격차를 다룹니다. LiteRT-LM 및 MLC LLM 과 같은 프레임워크를 통해 0.6B~4B 파라미터 규모의 모델을 스마트폰에서 로컬로 실행할 수 있게 되어 제로 지연 시간의 프라이버시 보호와 오프라인 기능이 가능해졌지만, 개발자들은 SLM 의 특정 실패 모드 (failure modes) 를 처리할 경험적 지침이 부족합니다.

클라우드 기반 대형 언어 모델 (LLM) 과 달리, SLM 은 다음과 같은 고유한 질적 실패 모드를 보입니다:

• 불안정한 형식 준수: JSON 을 마크다운 코드 펜스로 감싸거나, 키를 번역하거나, 잘못된 UTF-8 을 생성하는 경우가 빈번합니다.
• 약한 제약 준수: 단어의 글자 수 세기와 같은 수치적 추론이나 엄격한 언어 제약을 준수하는 데 어려움을 겪습니다.
• 컨텍스트 저하: 제한된 KV 캐시 (KV cache) 로 인해 단일 세션 내에서 성능이 급격히 저하됩니다.
• 지연 시간 문제: 복잡한 구조화된 출력 (예: 전체 퍼즐) 을 생성할 때 모바일 하드웨어에서 UI 가 수 분간 차단될 수 있습니다.

핵심 질문은 다음과 같습니다: 온디바이스 SLM 이 프로덕션 앱에서 실현 가능하고 프라이버시가 보호되며 오프라인인 사용자 경험을 제공할 수 있으며, 이를 신뢰성 있게 만들기 위해 필요한 공학적 전략은 무엇인가?

2. 방법론

저자들은 5 일간의 개발 스프린트(2026 년 4 월 21 일~26 일) 동안 종단적 실무 사례 연구를 수행했습니다.

• 대상 시스템: 안드로이드 (Kotlin/Jetpack Compose) 용 Wordle 스타일 단어 추측 게임인 Palabrita.
• 데이터 소스: 프로젝트의 전체 Git 히스토리로, 모든 설계 결정, 실패 및 수정 사항을 시간순으로 기록한 변조 방지 기록인 204 개의 커밋(약 90 개가 AI 관련) 으로 구성됨.
• 평가된 모델: Gemma 4 E2B, Qwen3 0.6B, Phi-4 Mini 등 9 개의 모델을 테스트했으며, 최종 프로덕션 빌드에는 두 가지 모델을 탑재했습니다: Gemma 4 E2B(2.6B 파라미터, 프리미엄 티어) 와 Qwen3 0.6B(600M 파라미터, 컴팩트 티어).
• 프레임워크: MLC LLM 이나 AICore 에 비해 완전한 프롬프트 제어, 모델 유연성, 최소한의 통합 마찰을 제공하는 LiteRT-LM(Google DeepMind) 을 선택했습니다.
• 프로세스: 팀은 "스펙 주도 개발 (Spec Driven Development)" 워크플로우를 따랐으며, 관찰된 실패를 바탕으로 야심찬 초기 설계에서 실용적인 최종 아키텍처로 반복적으로 개선했습니다.

3. 주요 기여

이 논문은 모바일 AI 공학 분야에 다음과 같은 5 가지 주요 기여를 제공합니다:

1. 5 가지 실패 범주의 분류 체계:

   • F1: 출력 형식 위반: 마크다운 감싸기, 키 번역, UTF-8 손상.
   • F2: 제약 위반: 잘못된 단어 길이, 잘못된 언어, 반복.
   • F3: 컨텍스트 품질 저하: KV 캐시 포화 후 3~5 회 생성 이후 출력 품질 하락.
   • F4: 지연 시간 비호환성: 동기식 생성 중 UI 차단 (1~3 분).
   • F5: 모델 선택 불안정성: 모델 간 극심한 품질 변동으로 각 모델별 고유 프롬프트 튜닝 필요.

2. "점진적 단순화 호 (Progressive Simplification Arc)":
   LLM 의 책임을 전체 퍼즐 (단어 + 카테고리 + 난이도 + 5 개 힌트) 생성에서 사전 선택된 단어에 대한 3 개 힌트 생성으로 체계적으로 축소해 나가는 문서화된 궤적입니다. 이 호는 신뢰성은 LLM 의 범위를 최소화함으로써 달성됨을 보여줍니다.

3. 프롬프트 엔지니어링 반복 과정:
   5 일 동안 4 번의 완전한 프롬프트 재작성에 대한 상세한 기록으로, SLM 을 위한 구체적인 기법을 강조합니다:

   • "CRITICAL" 우선순위 마커 사용.
   • 추상적 규칙 대신 구체적인 예시 제공 (예: "estufa 는 6 글자입니다").
   • ISO 코드 ("pt") 대신 전체 언어 이름 ("브라질 포르투갈어") 사용.
   • 시스템 프롬프트와 사용자 프롬프트 모두에서 제약을 반복.

4. 아키텍처 반패턴 해결:
   포그라운드 LLM 작업에 Android WorkManager를 사용한 실패 사례에 대한 사례 연구입니다. 저자들은 WorkManager 의 영구 상태 모델과 실시간, 메모리 내 LLM 추론의 본질 사이의 불일치를 식별하여 하루에 7 개의 버그가 발생했음을 확인했습니다. 이를 WorkManager 를 Kotlin Coroutines로 대체하여 더 깔끔하고 상태 비저장 생성 흐름으로 해결했습니다.

5. 8 가지 실행 가능한 설계 휴리스틱:
   실무자를 위한 실용적 지침으로 다음을 포함합니다:

   • 출력 스키마 복잡성 최소화.
   • 여러 파싱 폴백 적층 (방어적 파싱).
   • 재시도 시 컨텍스트 피드백 사용 (거부 사유 포함).
   • 저하 방지를 위해 추론 세션 회전.
   • 항상 결정론적 폴백 제공 (LLM 은 결코 사용자 경험을 차단해서는 안 됨).

4. 결과 및 발견

• 실현 가능성: 온디바이스 SLM 은 작업이 모델이 신뢰성 있게 수행할 수 있는 범위로 제한될 경우 프로덕션에 실현 가능합니다. 발견된 "최적의 지점"은 제약된 사실적 생성 (유효한 단어 선택) 이 아닌, 결정론적 폴백이 있는 경계된 창의적 텍스트 생성(힌트 작성) 입니다.
• 성공 지표:
  • 지연 시간: 퍼즐당 1530 초 (전체 생성) 에서 **12 초**(힌트 전용 생성) 로 단축.
  • 신뢰성: 단어 선택을 큐레이션된 JSON 자산으로 이동시켜 단어 길이 위반이 약 30~50% 에서 **0%**로 감소.
  • 아키텍처: 최종 시스템은 LLM 이 경험을 향상시키지만 이를 차단하지는 않는 "힌트 전용" 아키텍처를 사용합니다. 결정론적 폴백 제공자가 LLM 이 100% 실패하더라도 게임이 완전히 플레이 가능하도록 보장합니다.
• 파싱 진화: 파싱 파이프라인은 단일 역직렬화기에서 SLM 출력 변이성을 처리하기 위한 5 계층 방어적 파이프라인(UTF-8 정제, 코드 펜스 제거, 직접 디코딩, 정규식 추출, 구조적 파싱) 으로 진화했습니다.

5. 의의

• 공학적 현실 점검: 이 논문은 SLM 이 단순히 "작은 클라우드 모델"이라는 가정에 도전합니다. 이는 스키마 검증 대신 방어적 파싱, 맹목적 반복 대신 컨텍스트 기반 재시도, 프롬프트 확장 대신 책임 축소와 같이 근본적으로 다른 공학적 접근이 필요함을 증명합니다.
• 프라이버시 및 경제성: 저자들은 Edge-First AI를 강력히 옹호합니다. 온디바이스 추론은 사용자 데이터를 클라우드로 전송하는 프라이버시 위험을 제거하고, 소비자 앱 규모에서 지속 불가능한 API 토큰의 반복 비용을 제거합니다.
• 실용적 지침: "5 일간의 발견 과정"과 이를 통해 도출된 구체적인 휴리스틱을 문서화함으로써, 이 논문은 다른 개발자들이 시행착오 단계를 건너뛰고 즉시 견고한 온디바이스 AI 아키텍처를 구현할 수 있게 합니다.
• 프레임워크 시사점: 이 발견들은 추론 프레임워크가 모바일 개발자를 효과적으로 지원하기 위해 내장된 출력 형식 강제 (JSON 모드), 세션 품질 지표, 그리고 더 나은 모델 호환성 메타데이터가 필요함을 시사합니다.

결론: 이 논문은 "Less is More(적은 것이 더 많다)"라고 결론 내립니다. 가장 신뢰할 수 있는 온디바이스 LLM 기능은 LLM 이 가장 적게 하는 기능입니다. 성공은 SLM 이 불완전한 도구임을 인정하고, 이를 견고하고 결정론적이며 폴백이 풍부한 아키텍처로 감싸야 함을 수용하는 데서 나옵니다.