Architecture-Sensitive Supervised Fine-Tuning for Screen-Conditioned Action Prediction: A PiSAR Benchmark

기술 요약: 화면 조건부 행동 예측을 위한 아키텍처 민감형 지도 미세 조정

문제 제기
본 논문은 화면 조건부 시나리오 (예: 모바일 앱 사용) 에서 사용자의 행동과 근거를 예측하는 과제를 다룹니다. 구체적으로, 프런티어 제로샷 비전 - 언어 모델 (VLM) 이 스크린샷과 페르소나 프로필을 기반으로 사용자의 의도와 추론을 타당하게 설명할 수 있는지, 아니면 높은 행동 충실도를 달성하기 위해 작업별 지도 미세 조정 (SFT) 이 필요한지 조사합니다. 저자들은 프런티어 모델이 광범위한 사전 학습과 다중 모달 기반을 갖추고 있지만, 실제 세계의 쇼핑 및 앱 상호작용 행동을 정밀하게 시뮬레이션하는 데 필요한 특정 "목소리"와 추론 패턴은 부족할 수 있다고 가정합니다.

방법론
본 연구는 공개 앱 스토어 리뷰, 퓨 (Pew) 미국 트렌드 패널 인구통계, 그리고 OPeRA 쇼핑자 추적 데이터에서 선별된 12,929 개의 튜플로 구성된 독점 코퍼스인 PiSAR(페르소나, 의도, 화면, 행동, 근거) 을 소개합니다. 데이터 구축은 "3 개 슬롯 중 2 개는 실제" 규칙을 따르며, 세 가지 핵심 구성 요소 (화면, 페르소나, 추론) 중 최소 두 가지가 합성된 것이 아닌 실제 인간으로부터 직접 관찰되었음을 보장합니다.

실험 설정은 다음과 같습니다:

1. 데이터셋 분할: PiSAR 의 661 행으로 구성된 홀드아웃 슬라이스가 평가 벤치마크로 사용됩니다.
2. 모델:
   • 프런티어 제로샷 베이스라인: 파인튜닝 없이 평가된 Claude Opus 4.7 과 GPT-5.5.
   • 파인튜닝된 모델: Fireworks 에서 관리된 LoRA(저랭크 적응) SFT 파이프라인을 사용하여 두 개의 모델을 파인튜닝했습니다:
     • Qwen3-VL-8B-Instruct: 두 가지 데이터 혼합 (OPeRA 전용: 4,014 행; 통합: 13,796 행) 으로 파인튜닝되었습니다.
     • Gemma-4-26B-A4B-IT(MoE): Qwen 실행과 동일한 하이퍼파라미터를 사용하여 통합 데이터셋 (13,796 행) 으로 파인튜닝되었습니다.
3. 평가 지표: 동일한 661 행에 대해 다음 지표로 성능을 측정합니다:
   • 의미적 유사도 (sem_sim): 예측된 근거와 골드 근거의 텍스트 임베딩 간 코사인 유사도 (주요 지표).
   • 토큰 자카드: 어휘 중첩.
   • 길이 비율: verbosity(불필요한 장황함) 진단.
   • 임계값 통과율: 특정 sem_sim 임계값 (0.3, 0.5, 0.7) 을 초과하는 행의 비율.

주요 기여

1. PiSAR 벤치마크: 행동적 근거 예측을 위한 표준화된, 화면 기반 평가 슬라이스로, 프런티어 제로샷 모델과 파인튜닝된 에이전트 간의 직접적인 비교를 가능하게 합니다.
2. 아키텍처 민감형 SFT 발견: 논문은 SFT 의 효과가 베이스 모델의 사후 학습 사전 지식에 크게 의존함을 보여줍니다. 특정 파인튜닝 레시피 (LoRA 랭크 16, 13k 예제) 는 8B 인스트럭트 튜닝 모델 (Qwen) 에서 막대한 성능 향상을 가져왔지만, 26B 추론 튜닝 모델 (Gemma) 은 프런티어 제로샷 베이스라인을 넘어서지 못했습니다.
3. 레시피 vs 모델 불일치 진단: 저자들은 "초안 우선" 또는 체인 오브 씽크 (chain-of-thought) 사후 학습 사전 지식을 가진 추론 튜닝 모델이 표준 SFT 레시피에 의해 대체되는 것을 저항하며, "템플릿 누출"(예: 최종 근거 대신 내부 추론 마커 출력) 과 직접 출력 작업에서의 낮은 성능을 초래한다고 식별했습니다.

결과

• SFT 대 프런티어: 파인튜닝된 Qwen3-VL-8B-Instruct(통합) 은 sem_sim 0.783을 달성하여 프런티어 제로샷 베이스라인 (Claude Opus 4.7: 0.459; GPT-5.5: 0.482) 을 크게 능가했습니다. 이는 0.30의 절대적 격차를 의미합니다.
• 엄격한 문장 재구성 성능: sem_sim ≥ 0.7의 엄격한 임계값에서 파인튜닝된 Qwen 은 테스트 행의 **79%**를 통과한 반면, 프런티어 베이스라인은 **1–2%**만 통과했습니다.
• 베이스 모델 민감도: 동일한 학습 데이터와 레시피를 Gemma-4-26B-A4B-IT 에 적용한 결과 sem_sim은 0.441로, 프런티어 제로샷 베이스라인과 동일한 성능 대역에 위치했습니다.
• 실패 모드 분석: Gemma 모델은 "추론 흔적 누출"을 보였는데, 출력의 4% 가 내부 마크다운 마커 (예: * Persona:, * Draft 1:) 로 시작하여 최종 답변을 생성하지 못했습니다. 이로 인해 극단적인 길이 비율 (평균 4.43, 최대 457 배) 과 높은 지연 시간이 발생했습니다.
• 데이터 구성: 학습 데이터를 OPeRA 전용 (4k 행) 에서 통합 (13k 행) 으로 늘리면 Qwen 모델의 성능이 0.519 에서 0.783 으로 향상되었으며, 가장 큰 개선은 앱 스토어 데이터에서 관찰되었습니다.

의의 및 주장
본 논문은 화면 조건부 행동 시뮬레이션의 경우, 소규모 직접 출력 비전 - 언어 베이스의 도메인 관련 파인튜닝이 프런티어 추론 모델에 대한 프롬프팅보다 압도적으로 우월하다고 주장합니다.

• 효율성: 파인튜닝된 8B 모델은 프런티어 모델의 추론 비용의 일부 수준에서 초미만 지연 시간 (중앙값 0.79 초) 으로 작동하면서 훨씬 높은 행동 충실도를 달성합니다.
• 아키텍처 적합성: 결과는 "추론 튜닝"된 베이스 (예: Gemma-4-IT) 는 사후 학습 사전 지식을 무시하기 위해 더 강력한 파인튜닝 방법 (예: 더 높은 LoRA 랭크, 전체 파라미터 FT) 이나 더 많은 데이터를 필요로 할 수 있음을 시사합니다. 반면, 직접 출력 사전 지식을 가진 모델 (예: Qwen3-VL-Instruct) 은 표준 SFT 레시피에 매우 수용적입니다.
• 재현성: PiSAR 코퍼스와 가중치는 독점적이지만, 저자들은 전체 방법론, 데이터 융합 규칙, 학습 구성을 제공하며, 성공의 재현 가능한 핵심은 더 큰 프런티어 모델을 기다리는 것이 아니라 "베팅의 형태"(10–20k 개의 실제 세계 기록 + 8B 베이스 + LoRA SFT) 에 있다고 주장합니다.

저자들은 파인튜닝이 프롬프팅보다 보편적으로 더 낫다고 주장하거나 Gemma 가 "나쁜" 모델이라고 명시적으로 주장하지 않습니다. 대신, 이 특정 작업에서는 SFT 레시피와 베이스 모델의 사전 지식 간의 상호작용이 결정적인 변수이며, 여기서의 불일치는 0.30 의 절대적 개선을 이룬 8B 파인튜닝보다 26B 추론 모델을 덜 효과적으로 만들 수 있다고 논증합니다.