기술 요약: DISCOVERLLM

문제 정의

현재의 대규모 언어 모델 (LLM) 은 주로 사용자의 의도를 실행하고 이끌어내도록 훈련되어 있으며, 이는 사용자가 상호작용을 시작할 때 완전한 형태를 띠고 있되 때로는 명확히 표현되지 않은 목표를 가지고 있다는 가정 하에 작동합니다. 그러나 개방적이고 창의적이며 잘 정의되지 않은 작업 (예: 글쓰기, 디자인) 에서는 사용자가 초기에 명확한 의도를 갖지 못하는 경우가 많습니다. 대신 사용자는 잠재적인 결과를 관찰하고 탐색함으로써 자신이 원하는 바를 발견합니다. 멀티턴 미세 조정 (fine-tuning) 및 프롬프트 전략을 포함한 기존 접근법들은 의도가 숨겨져 있지만 정적이라고 가정하며, 이를 명확화 질문을 통해 표면화하는 데 중점을 둡니다. 하지만 사용자가 "어떤 톤을 원하시나요?"와 같은 질문에 답할 수 없는 경우, 즉 그 선호도를 아직 형성하지 못했을 때는 이러한 방식이 실패합니다. 핵심 과제는 기존 의도를 단순히 이끌어내는 것이 아니라, 협력적 탐색을 통해 사용자가 자신의 의도를 발견하고 형성하도록 적극적으로 돕는 모델을 훈련하는 것입니다.

방법론: DISCOVERLLM 프레임워크

저자들은 의도 유도 (elicitation) 와는 구별되는 별도의 문제로 의도 발견을 구체화하는 일반화 가능한 훈련 프레임워크인 DISCOVERLLM을 제안합니다. 이 프레임워크는 잠재적이고 계층적인 의도 구조를 가진 사용자의 인지 상태를 모델링하는 새로운 사용자 시뮬레이터에 의존합니다.

1. 상호작용을 통한 의도 발견

이 프레임워크는 의도 형성을 점진적인 정제 과정 ($I_0 \subseteq I_1 \subseteq \dots \subseteq I_T$) 으로 공식화합니다.

• 잠재 의도 계층: 사용자 의도는 광범위한 것 (예: "동물이 포함됨") 에서 구체적인 것 (예: "소파에서 잠자는 얼룩고양이가 포함됨") 에 이르기까지 노드가 존재하는 트리 계층 ($H$) 으로 표현됩니다.
• 발견 상태: 노드는 미발견, 부상 중, 또는 발견됨의 상태에 존재합니다. 사용자는 오직 발견됨 상태에 있는 의도만 표현할 수 있습니다.
• 응답 주도 진행: 어시스턴트의 응답 ($r_t$) 이 상태 전이를 결정합니다.
  • 직접적 참여: 응답이 명시적으로 특정 의도를 질문하거나 충족시키는 경우, 해당 노드는 발견됨 상태가 됩니다.
  • 연관적 참여: 응답이 일치하지는 않지만 관련 있는 옵션을 제시하는 경우 (예: 사용자가 고양이를 원할 때 개를 제안하는 것), 누적 점수에 기여합니다. 임계값을 초과하면 노드가 미발견에서 부상 중 또는 발견됨으로 전이되며, 이는 사용자가 자신이 원하지 않는 것을 보며 선호도를 좁히는 방식을 모델링합니다.
• 표현력 제약: 시뮬레이션 내 사용자는 발견한 의도만 표현할 수 있습니다. 의도가 부상 중 상태일 경우, 사용자는 "아마도 다른 것"과 같은 모호한 피드백만 제공할 수 있으며, 이는 모델이 사용자가 아직 제공할 수 없는 구체적인 세부 사항을 단순히 요구하는 것을 방지합니다.

2. 보상 계산

프레임워크는 훈련을 안내하기 위해 턴별 보상 ($R$) 을 계산합니다.

• 발견 진행 ($R_d$): 발견된 의도의 수 증가 ($|I_{t+1}| - |I_t|$) 를 측정합니다. 이는 잠재적 선호도를 표면화하는 모델에 보상을 부여합니다.
• 효율성 패널티 ($R_e$): 간결한 상호작용을 장려하기 위해 과도한 응답 길이에 패널티를 부과합니다.
• 총 보상: $R(r_t) = R_d(r_t) + R_e(r_t)$. 이 설계는 효율성을 2 차 제약으로 두면서 발견을 최우선으로 합니다.

3. 훈련 파이프라인

사용자 시뮬레이터와 보상 함수를 활용하여 이 프레임워크는 여러 훈련 패러다임을 지원합니다.

• 합성 데이터 생성: **지도 미세 조정 (SFT)**을 위한 고품질 데이터셋을 생성하기 위해 대화를 시뮬레이션합니다.
• 선호도 최적화: **직접 선호도 최적화 (DPO)**를 위해 쌍별 비교 (선택된 응답 vs 거부된 응답) 를 생성합니다.
• 온라인 강화 학습: PPO 또는 GRPO와 같은 알고리즘을 사용하여 보상 신호에 직접 모델을 최적화합니다.

주요 기여

1. 의도 발견의 공식화: 이 논문은 숨겨진 의도를 유도하는 것과 형성되지 않은 의도를 발견하는 것 사이의 차이를 구분하며, 어시스턴트의 솔루션 공간 탐색이 의도 구체화를 주도하는 공식 모델을 제안합니다.
2. 새로운 사용자 시뮬레이터: 사용자의 인지 상태를 의도의 계층으로 모델링하는 시뮬레이터로, 기존 표준 훈련 설정에서는 불가능했던 의도 발견에 대한 보상을 계산할 수 있게 합니다.
3. 훈련 프레임워크: LLM 에게 추상적 의도를 탐지하기 위해 옵션을 탐색하는 **발산 (divergence)**과 구체적 의도를 충족시키기 위해 출력을 정제하는 수렴 (convergence) 사이의 균형을 잡는 법을 가르치는 완전한 파이프라인 (SFT, DPO, RL) 입니다.

실험 결과

이 프레임워크는 Llama-3.1-8B-Instruct 와 Qwen3-8B 를 베이스 모델로 사용하여 창작 글쓰기, 기술 글쓰기, SVG 그림 세 가지 도메인에서 평가되었습니다.

• 성능 향상: DISCOVERLLM 은 최상의 베이스라인 (프롬프팅 및 COLLABLLM 포함) 대비 의도 발견률이 10% 이상, 의도 만족도가 11% 이상 높았습니다.
• 효율성: 작업 성능을 유지하거나 향상시키면서 대화 길이를 최대 40% 단축했습니다.
• 상호작용성: 상호작용 점수가 83% 증가하여 더 효과적인 협업을 나타냈습니다.
• 행동 분석: 단일 초고를 수정하는 순수 수렴 경향을 보이는 베이스 모델이나 발산에 과적합되어 끝없는 옵션을 제시하는 SFT 모델과 달리, DISCOVERLLM 변형 모델들은 발산적 탐색과 수렴적 정제 사이를 오가는 균형 잡힌 패턴을 보여주었습니다.
• 일반화: 이 접근법은 보지 못한 도메인 (여행 계획, 웹 개발) 과 다른 시뮬레이터 구성 (다양한 백본 LLM 및 업데이트 규칙) 에도 일반화되었습니다.
• 사용자 연구: 75 명의 인간 참가자를 대상으로 한 연구에서, DISCOVERLLM 은 베이스라인 대비 더 높은 상호작용 및 글쓰기 만족도 점수를 기록했고 작업 완료 시간이 단축되었습니다. 참가자들은 모델이 자신의 잠재적 의도를 "예측"하는 것처럼 보였다고 언급했습니다.

중요성과 주장

이 논문은 DISCOVERLLM 이 단순히 지시를 실행하는 모델에서 사용자와 함께 문제를 탐색하고 형성하는 능동적 파트너로의 인간 중심 AI 의 전환을 나타낸다고 주장합니다. 사용자가 사전 계획이 아닌 행동을 통해 종종 자신의 필요를 발견한다는 인지적 현실을 해결함으로써, 이 프레임워크는 AI 가 잘 정의되지 않고 개방적인 작업을 더 효과적으로 지원할 수 있게 합니다. 저자들은 이 접근법이 안전성 정렬을 훼손하지 않으며, 사용자의 의도가 처음에는 유동적인 복잡하고 창의적인 노력에서 협력하도록 모델을 훈련시키는 확장 가능한 방법을 제공한다고 강조합니다. 이 연구는 미래 AI 시스템은 정적인 사용자 목표를 가정하기보다는 문제와 솔루션 공간의 공동 진화를 촉진하도록 설계되어야 함을 시사합니다.