💻 computer science

Agents of Diffusion: Enhancing Diffusion Language Models with Multi-Agent Reinforcement Learning for Structured Data Generation (Extended Version)

이 논문은 모델 파라미터를 수정하지 않고도 의미적 풍부함과 엄격한 구조적 준수를 결합하여 고품질의 스키마 일관적인 구조화된 데이터를 생성하도록 확산 언어 모델을 유도하기 위해 다중 에이전트 강화 학습을 활용하는 새로운 프레임워크인 Agents of Diffusion (AoD)를 소개한다.

원저자: Aja Khanal, Kaushik T. Ranade, Rishabh Agrawal, Kalyan S. Basu, Apurva Narayan

게시일 2026-06-02

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Aja Khanal, Kaushik T. Ranade, Rishabh Agrawal, Kalyan S. Basu, Apurva Narayan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신은 매우 창의적이지만 약간은 무질서한 예술가(즉, 디퓨전 언어 모델(Diffusion Language Model))에게 완벽하게 정리된 스프레드시트나 JSON 파일 같은 특정 형태의 그림을 그리는 법을 가르치려 한다고 상상해 보세요.

이 예술가는 독특하고 새로운 아이디어를 내놓고, 누구도 본 적 없는 방식으로 색을 섞는 데 매우 능숙합니다. 하지만 엄격한 규칙을 따르는 데는 어려움을 겪습니다. 만약 당신이 "빨간 문과 파란 지붕이 있는 집"을 그려달라고 요청한다면, 그는 지붕은 빨갛고 문은 파란 집을 그리거나, 아예 문을 까먹을 수도 있습니다. 그는 엄격한 형식을 따르기에는 너무 자유로운 영혼입니다.

반면에, 당신에게는 매우 엄격하고 규칙을 잘 따르는 설계자(표준 자기회귀 LLM(Autoregressive LLM))가 있습니다. 이 설계자는 결코 규칙을 잊지 않으며 문을 있어야 할 곳에 정확히 그려 넣습니다. 하지만 그는 지루합니다. 그는 똑같은 집을 계속해서 반복해서 그리는 경향이 있으며, 새롭고 창의적인 변형을 만들어내는 데 서툽니다.

**"Agents of Diffusion" (AoD)**은 이 문제를 해결하는 새로운 팀워크입니다. 이 방식은 예술가에게 설계자가 되라고 강요하거나, 설계자에게 예술가가 되라고 요구하지 않습니다. 대신, 특별한 "코칭" 시스템을 사용하여 함께 협력하는 3인 체제를 구축합니다.

이 팀이 어떻게 작동하는지 쉬운 비유를 통해 설명하겠습니다.

1. 창의적인 예술가 (디퓨전 모델)

이 모델은 실제로 데이터를 생성하는 엔진입니다. 수초 만에 수천 개의 독특한 집 디자인을 만들어낼 수 있는 예술가와 같습니다. 매우 다양하고 창의적이지만, 청사진을 따르는 데는 도움이 필요합니다.

2. 엄격한 설계자 (판단 에이전트)

이 모델은 예술가의 작품을 살펴보는 똑똑한 컴퓨터 프로그램입니다. 단순히 "좋음" 또는 "나쁨"이라고 말하는 것이 아닙니다. 대신, 평범한 영어로 대화하는 비평가 역할을 합니다.

예시: 수학적 점수를 주는 대신, "이봐요, 주소 필드를 빠뜨렸고 전화번호가 가짜 같아요. 또한, 모든 집에 똑같은 이름을 사용했네요. 좀 더 독특하게 시도해 보세요."라고 말합니다.

3. 코치 (프롬프트 최적화 에이전트)

이 모델은 중간 관리자입니다. 설계자의 비판을 듣고 예술가에게 전달합니다.

마법 같은 점: 코치는 단순히 예술가에게 "더 열심히 해봐"라고 말하는 것이 아닙니다. 피드백을 바탕으로 지침(프롬프트)을 다시 작성합니다.
예시: 코치는 지침을 "집을 그려라"에서 "고유한 이름, 실제 주소, 그리고 특정 형식을 갖춘 전화번호가 포함된 JSON 형식의 집을 그려라"로 변경합니다.

그들이 함께 학습하는 방법 (강화 학습 루프)

이 과정은 다음과 같이 반복적으로 일어납니다:

예술가가 현재의 지침에 따라 집을 그립니다.
설계자가 그것을 보고 메모를 남깁니다: "지붕 색깔이 틀렸고, 굴뚝을 빠뜨렸어요."
코치는 그 메모를 읽고 다음 라운드를 위한 지침을 업데이트합니다.
예술가는 새로운 지침에 따라 다시 시도합니다.

이 과정은 여러 번 반복됩니다. 예술가는 창의성을 잃지 않으면서 규칙을 따르는 법을 배우고, 코치는 더 나은 지침을 주는 법을 배웁니다. 결정적으로, 예술가는 자신의 뇌(내부 코드)를 바꾸지 않습니다. 오직 지침만 바뀝니다. 이는 이 시스템이 매우 효율적이며, 예술가를 처음부터 다시 훈련시키기 위해 거대한 슈퍼컴퓨터를 사용할 필요가 없음을 의미합니다.

이것이 왜 중요한가

이 논문은 이 팀을 네 가지 서로 다른 도전 과제(여행 예약 데이터 생성이나 까다로운 질문 답변 등)에 테스트했습니다. 결과는 다음과 같습니다:

"스위트 스팟(최적의 지점)": 기존의 방식들은 너무 창의적이거나(규칙이 엉망임) 너무 엄격했습니다(지루한 반복). 이 팀은 두 가지를 모두 달ей했습니다. 즉, 데이터는 구조적으로 완벽하면서도(실제 JSON 파일처럼), 매우 다양했습니다(두 항목이 서로 같지 않음).
속임수 없음: 팀은 예술가가 교과서의 답을 그대로 베끼고 있는 것이 아님을 확인했습니다(암기 방지). 그들은 "필드 중첩(Field Overlap)" 테스트를 사용했는데, 이는 예술가가 숙제 답안을 그대로 베끼고 있는지 확인하는 것과 같습니다. 이 팀의 예술가는 규칙을 따르면서도 고유한 답변을 만들어냈습니다.
접근성: 이 모델을 실행하기 위해 수십억 달러 규모의 데이터 센터가 필요하지 않습니다. 이 팀은 고성능 게이밍 PC와 같은 일반적인 고사양 소비자용 컴퓨터에서도 실행되었으며, 값비싼 클라우드 서버를 사용하는 것만큼이나 잘 작동했습니다.

핵심 요약

이 논문은 자연어 피드백(AI와 대화하기)과 멀티 에이전트 팀(코치, 비평가, 예술가)을 사용함으로써, 디퓨전 모델의 거친 창의성과 규칙 준수 모델의 엄격한 규율이라는 두 마리 토토끼를 모두 잡을 수 있다고 주장합니다.

그들은 이를 **"Agents of Diffusion"**이라 부릅니다. 이는 마치 창의적인 감독, 엄격한 편집자, 그리고 재능 있는 작가를 고용하여, 최종 결과물이 문법적으로 완벽하면서도 신선하고 흥미로운 아이디어로 가득 차도록 만드는 것과 같습니다.

기술 요약: Agents of Diffusion (AoD)

문제 정의

JSON 레코드와 같은 고품질의 구조화된 데이터를 생성하는 것은 대규모 언어 모델(LLM)에 있어 근본적인 트레이드오프를 제시합니다. 자기회귀(Autoregressive) LLM은 구조적 일관성과 토큰 순서에 대한 강력한 귀납적 편향을 가지고 있어, 스키마 준수에는 효과적입니다. 그러나 이러한 동일한 편향은 출력 다양성을 제한하여 반복적인 시퀀스, 환각(hallucination), 그리고 의미론적 변이의 부족을 초래합니다. 반대로, 확산 언어 모델(Diffusion Language Models, DLMs)은 의미론적 풍부함과 양방향 디코딩을 위한 강력한 메커니즘을 제공하여 더 넓은 변이를 가능하게 합니다. 하지만 DLM은 신뢰할 수 있는 구조 보존에 필요한 위치 사전 지식(positional priors)이 부족하여, 중첩된 JSON 합성(nested JSON synthesis)과 같이 형식이 민감한 작업에서 실패하기 쉽습니다. 더욱이, DLM을 제어하기 위한 기존 방법들은 미세 조정(fine-tuning), 수작업으로 설계된 제약 조건, 또는 스칼라 보상 형성(scalar reward shaping)에 의존하는 경우가 많으며, 이는 취약하거나, 해석이 불가능하거나, 계산 비용이 많이 들 수 있습니다.

방법론: Agents of Diffusion (AoD)

이러한 한계를 해결하기 위해, 저자들은 DLM의 생성적 유연성과 자기회귀 에이전트의 추론 능력을 결합한 다중 에이전트 강화 학습(multi-agent reinforcement learning, RL) 프레임워크인 **Agents of Diffusion (AoD)**를 제안합니다. 핵심 혁신은 고정된(frozen) DLM을 수정하지 않고, 오직 협력적 에이전트들로부터 오는 자연어 피드백을 통해서만 가이드하는 파라미터 프리(parameter-free) 최적화 루프입니다.

프레임워크 아키텍처

시스템은 세 가지 주요 구성 요소가 포함된 다중 에이전트 정렬 프로세스로 작동합니다:

확산 언어 모델(DLM) 에이전트: 생성 백본 역할을 합니다 (구체적으로 고정된 LLaDA-8B 모델 사용). 비인과적(non-causal), 양방향 방식으로 시퀀스를 반복적으로 디노이징하여 구조화된 텍스트 후보를 생성합니다. 이를 통해 프롬프트에 조건화된 다양한 의미론적 궤적을 생성할 수 있습니다.
프롬프트 최적화 에이전트: 확률적 정책( $\pi_\theta$ )으로 기능하는 자기회귀 LLM입니다. 이 에이전트는 최종 데이터를 생성하는 것이 아니라, DLM을 스키마 준수 출력으로 유도하기 위해 조건부 프롬프트( $P_t$ )를 정제하는 법을 배웁니다. 프롬프트 설계를 순차적 의사결정 문제로 취급하며, 불연속적인 편집( $\Delta P$ )을 출력합니다.
판단 클러스터(Judge Cluster): 다음의 복합 평가 서브시스템으로 구성됩니다:
- 자연어 평가기(Natural Language Evaluator, NLE): 생성된 JSON에 대해 다섯 가지 정량적 지표(의미론적 유사도, 다양성, 엔트로피, 신선도, 퍼플렉시티)를 계산합니다. 이 지표들은 구조화된 자연어 문장으로 변환됩니다.
- LLM 판사(LLM Judge): NLE의 지표와 작업별 루브릭(rubric)을 소비하여, 일련의 Yes/No 질문과 텍스트 피드백을 통해 최종 비평( $y$ )을 생성하는 자기회귀 모델입니다. 이 피드백은 스칼라 보상( $r$ ) 및 하위 보상 벡터로 변환됩니다.

최적화 루프

프로세스는 다음과 같이 정형화된 에피소드형 마르코프 결정 과정(MDP)으로 공식화됩니다:

초기화: 프롬프트 $P_t$ 가 초기화됩니다.
생성: DLM이 후보 $x_t \sim g_\phi(P_t)$ 를 생성합니다.
평가: 판단 클러스터가 $x_t$ 를 평가하여 피드백 $y_t$ 와 보상 신호 $r_t$ 를 생성합니다.
정책 업데이트: 프롬프트 최적화 에이전트는 히스토리 $h_t$ 를 기반으로 편집 $\Delta P_t \sim \pi_\theta(\Delta P | h_t)$ 를 샘플링하고 프롬프트를 업데이트합니다: $P_{t+1} = U(P_t, \Delta P_t)$ .
목표: 정책 파라미터 $\theta$ 는 기대 할인 수익(expected discounted return)을 최대화하도록 최적화되며, 이는 DLM에 대한 역전파 없이도 높은 보상(구조적 유효성 + 의미론적 다양성)을 이끌어내는 프롬프트를 정제하는 법을 효과적으로 학습합니다.

저자들은 특정 조건(국소 리프시츠 연속 보상 함수 및 유계된 편집) 하에서, 이 반복적인 업데이트가 수축 사상(contraction mapping)을 구성하여 스키마에 정렬된 프롬프트로의 안정적인 수렴을 보장함을 증명합니다.

주요 기여

DLM을 위한 최초의 다중 에이전트 RL 프레임워크: AoD는 생성기를 미세 조정할 필요 없이 자연어 피드백을 사용하여 확산 언어 모델을 가이드하는 최초의 다중 에이전트 RL 프레임워크입니다.
언어적 정렬 최적화(Verbal Alignment Optimization): 저자들은 LLM 에이전트가 언어적 비평을 통해 프롬프트를 반복적으로 정제하는 새로운 최적화 루프를 제안합니다. 이는 명시적인 보상 모델링이나 스칼라 보상 형성 없이, 해석 가능한 자연어 피드백에 의존하여 스키마 정렬 제어를 달성합니다.
재현 가능한 최첨단 결과: 이 프레임워크는 여러 구조화된 데이터셋에 걸친 JSON 기반 인스트럭션 합성에서 우수한 성능을 입증하였으며, 소비자급 하드웨어에서도 제어 가능한 생성을 위한 토대를 마련했습니다.

실험 결과

저자들은 MultiWOZ, Super-NaturalInstructions, Self-Instruct, TruthfulQA의 네 가지 구조화된 생성 벤치마크에서 AoD를 평가했습니다. 이 데이터셋들은 중첩된 필드, 다양한 스키마 형식, 그리고 다양한 언어 스타일을 갖추고 있습니다.

성능 지표

AoD는 정적 자기회귀 모델(LLaMA, Qwen, GPT-4 변형), 확산 기반 모델(Diffusion-LM, DiffLM), 그리고 프롬프트 최적화 방법(PromptBreeder, EvoPrompt)을 포함한 6개의 베이스라인과 비교되었습니다.

작업 성공률 (TSR): AoD는 0.79의 가장 높은 TSR을 기록하며, 자기회귀 베이스라인(0.66–0.73)과 확산 베이스라인(0.61–0.69)을 유의미하게 앞질렀습니다.
필드 중복 (Field Overlap): AoD는 0.29의 가장 낮은 필드 중복을 기록하여, 베이스라인 범위(0.35~0.42)와 비교했을 때 독특한 키-값 조합을 생성하고 암기를 피하는 강력한 능력을 보여주었습니다.
의미론적 및 다양성 지표: AoD는 유사도(0.88), 다양성(0.82), 신선도(0.83)에서 높은 점수를 기록했습니다. 특히, 자기회귀 모델이 동시에 달성하기 어려운 조합인 높은 엔트로피(6.10)와 낮은 퍼플렉시티(22.1)를 동시에 달성했습니다 (자기회귀 모델은 보통 높은 유사도를 가지면서 다양성이 낮거나, 그 반대의 경우를 보입니다).
하드웨어 접근성: 실험은 소비자급 워크스테이션(AMD Ryzen 9, NVIDIA RTX 4080 SUPER)에서 수행되었으며, 이는 고품질의 제어 가능한 구조적 생성이 특수 인프라를 요구하지 않음을 입증했습니다.

절제 연구 (Ablation Studies)

에이전트 구성 요소: 강화 학습 구성 요소를 제거하거나 자연어 피드백을 스칼라 보상으로 대체하면 다양성이 감소하고 퍼플렉시티가 높아졌습니다. 확산 생성기와 자연어 피드백의 결 조합이 탐색(exploration)과 규제(regulation) 사이의 균형을 맞추는 데 결정적임이 확인되었습니다.
모델 전이성: 프레임워크는 프롬프트 최적화 및 판단을 위한 서로 다른 자기회귀 모델 조합(예: LLaMA, Qwen, DeepSeek, Gemma)에 대해 견고함을 입증하였으며, 일관된 다양성 점수(0.79–0.86)와 관리 가능한 GPU 실행 시간(사이클당 110–122초)을 보여주었습니다.

의의 및 주장

본 논문은 AoD가 구조 인식 및 다양성이 강화된 텍_생성을 위한 새로운 경로를 구축한다고 주장합니다. 협력적 다중 에이전트 강화 학습을 통해 확산 모델의 강점(의미론적 다양성)과 자기회귀 에이전트의 강점(구조적 정밀도)을 결합함으로써, AoD는 형식 준수와 출력 다양성 사이의 전통적인 트레이드오프를 극복합니다.

저자들은 AoD가 생성기에 대해 **모델 불가지론적(model-agnostic)**이며 **파라미터 프리(parameter-free)**라는 점을 강조하며, 에이전트 간의 자연어를 통한 상호작용에만 의존한다는 점을 밝힙니다. 이러한 접근 방식은 미세 조정의 계산 비용이나 수작업 제약 조건의 취약성 없이 제어 가능한 생성을 가능하게 합니다. 현재 작업은 JSON 합성에 국한되어 있으나, 저자들은 이 프레임워크가 표 형식 데이터(tabular data)나 코드와 같은 다른 구조화된 도메인으로 제어 가능한 생성을 확장할 수 있는 기초적인 접근 방식을 제공한다고 주장합니다. 결과는 확산 모델이 협력적 에이전트에 의해 감독될 때, 높은 의미론적 신선도와 구조적 충실도를 모두 달성할 수 있음을 보여주며, 구조적 데이터 생성을 위한 유일한 대안이 자기회귀 모델이라는 통념에 도전합니다.