Instruction-Tuned, but Not More Verifiable Instruction-Following: A Cross-Task Diagnosis for LoRA Adapters

1. 연구 배경 및 문제 제기 (Problem)

• 현황: LoRA(저랭크 적응) 어댑터는 종종 '지시 따르기 (Instruction-tuned)', '수리 추론 (Numeric-reasoning-tuned)'과 같은 명목상의 레이블 (Nominal labels) 을 기반으로 선택 및 배포됩니다. 이러한 레이블은 어댑터가 어떤 능력을 향상시켰는지 암시하는 것으로 간주됩니다.
• 문제: 연구진은 이러한 명목상의 학습 목표가 실제 배포 환경에서 다른 작업 (Cross-task) 에 대한 능력 향상을 신뢰성 있게 예측하는지, 특히 자동으로 검증 가능한 엄격한 지시 준수 (Strict, automatically verifiable instruction following) 측면에서 그런지 의문을 제기했습니다.
• 핵심 질문: "명목상의 학습 목표 (예: 지시 따르기 튜닝) 가 실제로 검증 가능한 준수 능력을 향상시키는가?"

2. 방법론 (Methodology)

• 실험 설정:
  • 기반 모델: 고정된 베이스 모델 사용.
  • 어댑터: 두 가지 주요 명목 목표를 가진 LoRA 어댑터 훈련:
    1. Reason: 수치 추론 (Numeric-reasoning-tuned)
    2. Instr: 지시 따르기 (Instruction-tuned)
  • 평가 작업:
    1. 수치 추론 벤치마크: 수치 일치 (Numeric Match, NM) 지표 사용.
    2. 검증 가능한 지시 따르기: IFEval 벤치마크 사용. 이는 엄격하고 자동으로 검증 가능한 지시 제약을 평가하며, 지시 수준 정확도 (ILA) 와 프롬프트 수준 정확도 (PLA) 를 측정합니다.
    3. 도메인 QA: 보조적으로 사용.
• 지표 및 분석:
  • 드리프트 스코어 (Drift Score): 명목 목표에서의 이득과 오프-타겟 (Off-target) 작업에서의 이득 간의 차이를 계산하여 명목 - 실제 불일치를 정량화합니다.
    • $DriftScore = OffTargetGain - TargetGain$
  • 교차 작업 진단 (Cross-task Diagnosis): 동일한 어댑터를 다양한 작업에 적용하여 명목상의 목표와 실제 달성된 능력 간의 불일치를 진단합니다.
  • 로버스트성 검증: 다양한 시드 (Seed), 기반 모델 (Qwen, Llama 등), LoRA 설정 (랭크, 레이어 등) 을 변경하여 결과의 일관성을 확인했습니다.

3. 주요 기여 (Key Contributions)

1. 배포 관련 교차 작업 진단 프레임워크 제시: 어댑터의 명목 레이블/학습 목표가 평가 하에서 실제 교차 작업 능력 향상과 일치하는지 테스트하는 새로운 진단 접근법을 제안했습니다.
2. 강건한 불일치 증거 제시: 다양한 시드, 모델, 설정에서 명목 - 실제 불일치가 반복적으로 발생하지만 구성에 따라 민감하게 변할 수 있음을 입증했습니다. (일부 설정에서는 드리프트가 0 에 가깝거나 음수인 경우도 발견됨).
3. 통제된 반례 (Counterexample) 제시: '지시 따르기'로 튜닝된 어댑터가 검증 가능한 지시 준수 (IFEval) 는 향상시키지 못함에도 불구하고, 수치 추론 벤치마크 (NM) 성능은 크게 향상시키는 현상을 구체적으로 보여주었습니다.

4. 주요 결과 (Results)

• 명목 - 실제 불일치 (Capability Drift):
  • 대표적인 사례 (Table 1): '지시 따르기' 어댑터는 베이스 모델 대비 수치 추론 성능 (NM) 을 0.133 에서 0.632 로 대폭 향상시켰으나, 검증 가능한 지시 준수 (IFEval PLA) 는 0.250 에서 0.143 으로 오히려 감소했습니다.
  • 이는 지시 따르기 튜닝이 반드시 엄격한 지시 준수 능력을 향상시키는 것이 아니며, 오히려 특정 벤치마크 (수치 작업) 에만 특화된 '오프-타겟' 향상을 일으킬 수 있음을 보여줍니다.
• 로버스트성 (Robustness):
  • 다양한 시드와 모델 (Qwen3-8B/14B, Llama3-8B 등) 에서 '지시 따르기' 어댑터가 수치 추론에서 이득을 얻는 반면 IFEval 점수는 향상되지 않는 패턴이 반복적으로 관찰되었습니다.
  • 다만, 모든 설정에서 동일하게 나타나는 것은 아니며, 일부 설정에서는 드리프트 스코어가 0 에 가깝거나 음수인 구성 민감성 (Configuration Sensitivity) 이 존재합니다.
• 벤치마크 이질성:
  • IFEval(엄격한 자동 검증) 과 FollowBench(다른 정의) 등 다른 벤치마크 간의 결과가 일치하지 않았습니다. 이는 '지시 따르기'가 단일한 개념이 아니라 벤치마크에 따라 다르게 정의됨을 시사합니다.
• 세부 분석:
  • IFEval 하위 카테고리 분석 결과, 언어 제약 (language constraints) 이나 형식 감지 (detectable_format) 등 특정 유형의 지시 준수 능력은 오히려 감소했으나, 일부 키워드 빈도 등 다른 유형은 향상되는 선택적 변화 (Selective Shifts) 가 관찰되었습니다.

5. 의의 및 시사점 (Significance)

• 명목 레이블의 한계: 모델 선택 및 배포 시 'Instruction-tuned'와 같은 명목 레이블을 능력의 신뢰할 수 있는 대리 지표 (Proxy) 로 간주해서는 안 됩니다.
• 배포 전 필수 검증: 실제 배포 전에는 규칙적인 교차 작업 평가 (Routine cross-task evaluation) 를 수행하여 의도치 않은 능력 편향 (Capability Drift) 이나 오프-타겟 이동을 확인해야 합니다.
• 엄격한 준수 vs. 포괄적 유용성: 지시 따르기 튜닝이 모델의 전반적인 유용성이나 대화 능력을 향상시킬 수는 있지만, 엄격하고 자동화된 검증 가능한 제약 조건 준수를 보장하지는 않습니다.
• 메트릭의 중요성: 벤치마크가 '지시 따르기'를 어떻게 정의하고 측정하느냐에 따라 결과가 크게 달라질 수 있으므로, 벤치마크의 이질성을 고려한 해석이 필요합니다.

결론적으로, 이 논문은 LoRA 어댑터의 명목상 학습 목표가 실제 배포 환경에서의 검증 가능한 성능을 보장하지 않을 수 있음을 실증적으로 증명하며, 모델 배포 시 단순한 레이블 의존을 경계하고 구체적인 교차 작업 평가를 강조합니다.