DD-GEPA: Prompt Optimization for Dialogue Disentanglement Focusing on Task Instruction and Utterance Representation

기술 요약: DD-GEPA

문제 정의

Slack이나 IRC와 같은 다자간 채팅 환경에는 여러 참여자가 동시에 서로 다른 주제를 논의하는 인터리브드(interleaved) 대화가 빈번하게 포함되어 있습니다. 이러한 "엉킴(entanglement)" 현상은 자동 분석을 어렵게 만드는데, 서로 관련 없는 스레드의 발화가 관련 있는 문맥으로 오인될 수 있기 때문입니다. 대화 분리(Dialogue disentanglement)는 얽힌 발화 시퀀스를 답장 관계(reply-to relations)를 기반으로 일관된 대화 클러스터로 나누는 것을 목표로 합니다.

대규모 언어 모델(LLM)은 강력한 문맥 추론 능력을 갖추고 있지만, 대화 분리에 처음 적용되었을 때는 전통적인 비-LLM 방식보다 정확도가 떨어지는 등 낮은 성능을 보였습니다. 후속 연구들은 프롬프트 설계가 성능을 크게 향상시킬 수 있음을 입증했으나, 특정 프롬프트 구성 요소(예: 대화 수준의 할당 또는 후속 문맥)의 효과는 LLM마다 다르게 나타납니다. 또한, 주석(annotation) 가이드라인의 본질적인 모호함과 LLM 성능이 특정 포맷팅 및 지침 세부 사항에 매우 민감하다는 점 때문에 최적의 프롬프트를 수동으로 제작하는 것은 어렵습니다. 결과적으로, 특히 개인정보 보호 문제로 인해 로컬 배포가 필요한 오픈 웨이트(open-weight) 모델을 대상으로, LLM 기반 대화 분리를 위한 견고하고 자동화된 프롬프트 최적화 방법이 필요합니다.

방법론

본 논문은 복합 AI 시스템을 위해 설계된 GEPA(Agrawal et al., 2026)를 변형한 자동 프롬프트 최적화 프레임워크인 DD-GEPA를 제안합니다. 이 접근 방식의 핵심은 대화 분리 프롬프트를 세 가지 별도의 최적화 가능한 모듈로 분해하는 것입니다:

1. 작업 지침(Task Instruction): 작업을 정의하고, 할당 결정 기준을 설명하며, 사용될 근거를 명시합니다.
2. 발화 표현(Utterance Representation): 발화 메타데이터(인덱스, 타임스탬프, 화자 ID)와 내용이 LLM을 위해 어떻게 포맷팅되는지(예: JSON, 라벨링된 텍스트)를 지정합니다.
3. 출력 지침(Output Instruction): 모델의 예측 형식(예: 특정 JSON 키, 불리언 플래그)을 규정합니다.

최적화 과정:
DD-GEPA는 후보 "프로그램"(세 모듈의 조합) 풀을 유지합니다. 최적화 사이클은 다음과 같이 진행됩니다:

• 선택(Selection): 검증 세트에서 높은 총점을 받은 프로그램을 우선시하고 지배된(dominated) 후보를 제거하는 파레토 기반 선택법을 사용하여 풀에서 후보 프로그램을 선택합니다.
• 실행 트레이스(Execution Traces): 선택된 프로그램은 미니배치 인스턴스에 대해 실행됩니다. 입력, 출력, 추론 텍스트, 결정의 정확도를 포함한 실행 트레이스가 수집됩니다. 잘못된 결정에 대해서는 LLM이 실패 설명을 생성하도록 유도됩니다.
• 모듈 업데이트(Module Update): 최적화 도구는 라운드 로빈 순서에 따라 업데이트할 하나의 모듈을 선택합니다. 수집된 트레이스와 실패 설명을 사용하여 LLM은 선택된 모듈의 개선된 버전을 생성합니다.
  • 발화 표현의 경우, LLM은 새로운 포맷을 제안하고, 외부 함수가 원시 데이터를 이 포맷으로 변환하는 코드를 생성합니다.
  • 출력 지침의 경우, LLM은 새로운 출력 스키마를 제안하고, 외부 함수가 모델의 원시 출력을 표준 평가 형식으로 파싱하는 코드를 생성합니다.
• 평가(Evaluation): 새로운 프로그램은 미니배치에서 평가됩니다. 성능이 향-상되면 후보 풀에 추가되며, 이후 더 큰 검증 세트에서 평가됩니다.

이 과정은 정해진 단계만큼 반복되며, 가장 높은 검증 점수를 기록한 프로그램을 최종 최적화된 프롬프트로 선택합니다.

주요 기여

• 분리를 위한 자동 프롬프트 최적화: 본 논문은 복잡한 작업에 대한 수동 설계의 어려움을 해결하기 위해, 대화 분리를 위해 특별히 설계된 최초의 자동 프롬프트 최적화 방법인 DD-GEPA를 도입했습니다.
• 모듈식 분해: 프롬프트를 단일 블록으로 취급했던 이전 방식과 달리, 본 연구는 프롬프트를 작업 지침, 발화 표현, 출력 지침으로 분해하여 상호 의존성을 고려해 공동으로 최적화합니다.
• GEPA의 적응: 저자들은 일반적인 복합 AI 시스템을 위해 설계된 GEPA 프레임워크를, 동적 프롬프트 구성 요소를 위한 변환 및 파싱 코드를 생성하는 기능을 포함하여 대화 분리의 특정 제약 조건에 맞게 조정했습니다.

실험 결과

실험은 대화 분리의 표준 벤치마크인 Ubuntu IRC 데이터셋을 대상으로 수행되었습니다. 연구에는 오픈 웨이트 LLM인 Qwen3-30B가 사용되었습니다.

• 성능 향상: 최적화된 프롬프트("Optimum")는 정보 변이량(VI), 조정 랜드 지수(ARI), F1 점수를 포함한 여러 지표에서 초기 시드 프롬프트와 강력한 수동 설계 베이스라인(Takada와 Mori, 2026의 연구 재현)을 모두 크게 앞질렀습니다.
• 전용 모델과의 비교: 최적화된 오픈 웨이트 모델이 동일한 모델에서 수동으로 설계된 프롬프트보다 우수한 성능을 보였으나, 수동으로 제작된 프롬프트를 사용하는 전용 LLM(예: GPT-5.2)에 비해서는 여전히 낮은 성능을 보였습니다.
• 최적화 한계: 최적화 궤적은 초기 반복 단계에서 급격한 개선을 보였으며, 다섯 번째 업데이트에서 가장 좋은 프로그램이 발견되었습니다. 이후의 업데이트는 추가적인 이득을 얻지 못했는데, 이는 최적화 과정이 지역적 정체기(local plateau)에 도달했거나 훈련 트레이스의 다양성이 추가적인 개선을 유도하기에 충분하지 않았음을 시사합니다.

의의 및 주장

본 논문은 DD-GEPA가 수동 프롬프트 엔지니어링 없이도 LLM 기반 대화 분리의 정확도를 높일 수 있는 실행 가능한 경로를 제공한다고 주장합니다. 동일한 모델 아키텍처에서 자동 최적화가 수동 설계 프롬프트를 능가할 수 있음을 입증함으로써, 본 연구는 오픈 웨이트 LLM의 역량을 끌어올리기 위한 자동화된 방법의 잠재력을 강조합니다. 이는 개인 정보가 포함된 채팅 데이터를 다루는 애플리케이션에서 전용 API보다 오픈 웨이트 모델이 선호되는 상황에서 특히 중요합니다.

그러나 저자들은 궁극적인 성능 상한선에 대해서는 신중한 입장을 유지합니다. 그들은 최적화에도 불구하고 현재의 오픈 웨이트 방식이 가장 강력한 비-LLM 방식(예: DiHRL)이나 전용 LLM의 성능에는 아직 미치지 못한다는 점을 인정합니다. 결론적으로, DD-GEPA가 향후 최적화를 위한 유용한 기초를 제공하기는 하지만, 최적화 이득의 조기 포화에서 나타나듯 훈련 트레이스의 다양성 문제와 과제 자체의 난이도와 관련된 과제가 여전히 남아 있다고 밝히고 있습니다.