💬 NLP

ADE: Agentic Data Evolution Framework for Human-Centered Objectives

본 논문은 관찰-변이-선택(Observation-Variation-Selection)의 폐쇄 루프 절차와 정상 상태 수용 메커니즘을 활용하여 합성 데이터를 반복적으로 정제함으로써, 다양한 벤치마크와 사후 학습 방법론에 걸쳐 실행 불가능한 인간 중심적 목표에 대한 대규모 언어 모델의 정렬을 크게 향상시키는 데이터 중심 프레임워크인 에이전틱 데이터 진화(Agentic Data Evolution, ADE)를 제안한다.

원저자: Yang Yu, Yilin Jiang, Zexuan Fei, Yiming Luo, Xingkai Song, Kaiyi Huang, Aimin Zhou, Xin Lin, Fei Tan

게시일 2026-08-26

📖 5 분 읽기🧠 심층 분석

CC BY 4.0

원저자: Yang Yu, Yilin Jiang, Zexuan Fei, Yiming Luo, Xingkai Song, Kaiyi Huang, Aimin Zhou, Xin Lin, Fei Tan

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

인공지능의 세계에서 연구자들은 명확한 정답이 있는 문제를 해결하도록 컴퓨터를 가르치는 기술을 오랫동안 숙달해 왔습니다. 기계에게 수학 방정식을 풀거나 코드 한 줄을 작성하도록 요청하면, 그 답은 맞거나 틀리거나 둘 중 하나로 즉각적인 테스트가 가능합니다. 이러한 명확성 덕분에 모델은 끊임없는 시행착오의 순환을 통해 기술을 연마하며 빠르게 학습할 수 있었습니다. 그러나 인간과 기계 사이의 가장 의미 있는 상호작용은 단 하나의 정답이 존재하지 않는 영역에서 자주 발생합니다. 컴퓨터가 튜터, 상담가 또는 창의적 파트너로서 역할을 할 때, 응답의 품질은 맥락, 감정, 그리고 문화적 가치에 따라 달라집니다. 어떤 조언이 공감적인가? 어떤 이야기 아이디어가 독창적이면서도 적절한가? 이러한 질문들은 "약하게 검증 가능한(weakly verifiable)" 것으로, 단순한 공식으로는 확인할 수 없습니다. 이는 인간의 판단을 필요로 하며, 인간의 판단은 느리고 비용이 많이 들며 확장하기 어렵습니다. 품질을 검증할 신뢰할 수 있는 방법이 없었기에, 이러한 인간 중심적인 과업에서 탁월함을 발휘하도록 인공지능을 가르치는 일은 완고한 병목 현상으로 남아 있었습니다.

동부 화동 사범대학교와 홍콩 과학기술대학교의 연구진은 이러한 불확실성을 헤쳐 나갈 새로운 방법을 제안했습니다. 그들은 '에이전틱 데이터 진화(Agentic Data Evolution, 이하 ADE)'라고 불리는 프레임워크를 개발했는데, 이는 훈련 데이터의 생성을 일회성 사건이 아니라 지속적이고 살아있는 과정으로 취급합니다. 방대한 양의 답변 목록을 생성한 뒤 그중 최선의 것이 살아남기를 바라는 대신, 이 시스템은 데이터를 시간이 흐름에 따라 진화하는 "스냅샷"으로 구성합니다. 이 시스템은 특화된 인공지능 에이전트 팀을 사용하여 현재의 답변을 관찰하고, 변형을 제안하며, 그 변화 중 진정한 개선을 나타내는 것만을 엄격하게 선택합니다. 이 과정은 시스템이 더 나아지려고 노력하는 과정에서 의도치 않게 성능이 저하되는 것을 방지하는 안전장치 역할을 하도록 설계되었습니다. 이 방법을 교육적 시나리오, 특히 튜터가 학생의 가치, 감정, 창의성을 어떻게 지원할 것인지에 초점을 맞추어 적용함으로써, 연구진은 인간이 모든 단계를 일일이 확인하지 않고도 AI의 응답 품질을 꾸준히 높일 수 있음을 발견했습니다.

연구팀이 다룬 핵심 과제는 성공 여부를 쉽게 측정할 수 없는 과업에서 AI의 행동을 개선하려고 할 때 발생하는 문제입니다. 전통적인 방식에서 연구자들은 하나의 답변에 대한 많은 변형을 생성하고 빠른 점검을 통해 최선의 것을 고를 수 있습니다. 하지만 기준이 "정서적 지원"이나 "창적인 혁신"처럼 복잡할 경우, 빠른 점검은 오해를 불러올 수 있습니다. 어떤 답변은 더 매끄럽거나 자신감 있게 들릴 수 있지만, 실제로는 덜 도움이 되는 지침을 제공할 수도 있습니다. 연구진은 세심한 선택 과정이 없다면, 반복적인 개선이 "조용한 퇴보(silent regressions)"로 이어질 수 있다는 사실을 발견했습니다. 즉, 변화가 표면적으로는 긍정적으로 보이기 때문에 아무도 알아차리지 못한 채 모델이 시간이 지남에 따라 점점 더 나빠지는 현상입니다. 이를 해결하기 위해 그들은 꾸준하고 신중한 진화를 모방하는 폐쇄 루프(closed-loop) 시스템을 구축했습니다.

과정은 초기 질문과 답변 세트에서 시작되며, 이는 출발점 역할을 합니다. 그 후 시스템은 관찰, 변형, 선택의 순환 단계에 진입합니다. 먼저, 에이전트는 특정 질문과 현재의 답변을 관찰하여, 학생의 감정을 존중하는지 또는 창의적 사고를 장려하는지와 같은 구체적인 목표를 기준으로 응답이 부족한 부분을 정확히 식별합니다. 다음으로, 시스템은 답변의 새로운 버전을 생성합니다. 이는 두 가지 방식으로 이루어집니다. 한 에이전트는 전체적인 구조를 바꾸지 않으면서 즉각적인 약점을 고치기 위해 작고 세심한 수정을 가하는 반면, 다른 에이전트는 더 깊은 문제를 해결하기 위해 응답을 재구성하며 더 큰 위험을 감수합니다. 이를 통해 원본 답변, 보수적인 수정안, 그리고 공격적인 수정안으로 구성된 작은 후보군이 만들어집니다.

시스템의 가장 중요한 부분은 엄격한 문지기 역할을 하는 선택 단계입니다. 새로운 버전이 수용되기 전에, 그것은 원본과 직접 비교됩니다. 시스템은 단순하지만 엄격한 질문을 던집니다: "이 새로운 버전이 명백히 더 나은가?" 만약 증거가 모호하거나, 새로운 버전이 단지 약간 다를 뿐 결정적으로 우월하지 않다면, 시스템은 변화를 거부하고 원래의 답변을 유지합니다. 이 "정상 상태(steady-state)" 규칙은 개선의 증거가 있을 때만 데이터가 앞으로 나아가도록 보장하며, 품질이 뒤로 밀려나는 것을 방지하는 래칫(ratchet) 역할을 효과적으로 수행합니다. 거부된 시도들은 완전히 버려지는 것이 아니라, 실패한 이유가 기록되어 다음 단계의 시도를 안내하는 데 사용되며, 이를 통해 시스템은 무엇을 하지 말아야 할지를 배웁니다.

이 방법이 실제로 효과가 있는지 테스트하기 위해, 연구진은 10,000개의 교육적 질문과 답변 데이터셋에 이 방법을 적용했으며, 학생의 도덕적 선택을 돕고, 정서적 지원을 제공하며, 창의적 혁신을 촉려하는 세 가지 인간 중심적 목표에 집중했습니다. 그들은 여러 차운의 진화 과정을 거쳐 개선된 데이터셋 시리즈를 생성했습니다. 그런 다음 세 가지 뚜렷한 방식으로 결과를 측정했습니다. 첫째, 진화된 버전들을 원본과 비교하여 답변의 내재적 품질을 살펴보았습니다. 그 결과, 진화의 각 단계마다 답변이 유의미하게 개선되었으며, 개선된 답변의 승률은 초기 세트의 50%에서 몇 차례의 진화 후 거의 76%까지 상승했습니다.

둘째, 이러한 개선이 AI 모델이 실무에 투입되었을 때 실제로 도움이 되는지 테스트했습니다. 그들은 진화된 데이터로 언어 모델을 훈련시킨 후, 모델이 본 적 없는 300개의 질문 세트로 테스트를 진행했습니다. 결과는 명확한 기술 전이를 보여주었습니다. 진화된 데이터로 훈련된 모델은 원본 데이터로 훈련된 모델과의 비교에서 68.86%의 승률을 기록했습니다. 이는 개선 사항이 단순히 시스템이 좋아할 만한 표면적인 변화가 아니라, 모델이 복잡한 교육적 과업을 처리하는 방식에 있어 진정한 향상임을 입증했습니다. 마지막으로, 시스템이 스스로를 속이고 있는 것은 아닌지 확인하기 위해, 전문가들이 답변을 블라인드 테스트 방식으로 평가하게 했습니다. 전문가들은 진화된 답변을 66.11%의 비율로 선호했으며, 이는 자동화된 프로세스가 인간의 판단과 일치함을 확인시켜 주었습니다.

연구는 또한 이러한 성과가 교육적 과업에 국한된 것인지, 아니면 모델이 다른 영역에서도 도움이 되는지를 탐구했습니다. 연구진은 명확하고 객able한 정답이 있는 수학 문제와 유해한 언어 탐지 작업에 대해 개선된 모델을 테스트했습니다. 이와 관련 없는 분야에서도 진화된 데이터로 훈련된 모델은 더 나은 성능을 보였으며, 이는 작지만 일관된 정확도 향상을 나타냈습니다. 이는 인간 중심적 목표를 위해 데이터를 신중하게 진화시키는 과정이 단순히 특정 튜터링 스타일을 흉내 내는 법을 가르치는 것을 넘어, 모델의 전반적인 추론 능력과 인간의 가치에 부합하는 능력을 강화한다는 것을 시사합니다.

연구진은 이 방법이 여러 에이전트가 루프 내에서 작동해야 하므로 더 단순한 접근 방식보다 더 많은 컴퓨팅 파워를 요구한다는 점을 인정합니다. 그러나 그들은 모델이 저조한 성능으로 미끄러지는 위험을 피하기 위해 이 비용이 필요하다고 주장합니다. 데이터를 한 번 생성하고 끝나는 정적인 자원이 아니라, 시간이 흐름에 따라 진화하고 정교해질 수 있는 것으로 취급함으로써, 그들은 인공지능에게 인간 상호작용을 정의하는 미묘하고 맥락 의존적인 기술을 가르치기 위한 실질적인 경로를 제시했습니다. 이 연구는 가장 어렵고 중요한 과업을 수행할 때, 진보의 열쇠는 더 많은 데이터를 생성하는 것이 아니라 이미 가진 데이터를 인내와 정밀함으로 진화시키는 데 있음을 시사합니다.

기술 요약: 에이전트 기반 데이터 진화 (Agentic Data Evolution, ADE)

문제 정의

대규모 언어 모델(LLM)을 인간 중심적 목표, 특히 가치 지향성(value orientation), 정서적 지원(affective support), 그리고 **창의적 혁신(creative innovation)**에 정렬하는 것은 매우 어려운 과제입니다. 이는 해당 목표들이 약하게 검증 가능한(weakly verifiable) 특성을 갖기 때문입니다. 수학이나 코드 생성과 같이 결정론적 피드백이 존재하는 작업과 달리, 이러한 영역에서의 응답 품질은 맥락, 도메인 규범, 전문적 기준에 따라 달라지므로 안정적인 감독 신호를 구축하기가 어렵습니다.

현재의 합성 데이터 방법론은 병목 현상의 전환점에 직면해 있습니다. 즉, 생성(generation)은 저렴해진 반면, **선택(selection)**이 핵심적인 난제가 되었습니다. 반복적인 정교화 과정에서 약한 검증은 "조용한 퇴보(silent regressions)"의 위험을 초래합니다. 이는 수정된 답변이 유창성은 향상시켰을지라도 교육적 적절성이나 학습자 지원 측면에서는 오히려 저하될 수 있음을 의미합니다. '생성 후 필터링(generate-then-filter)'이나 '단일 라운드 자기 개선(single-round self-improvement)'과 같은 기존 방식은 비퇴보적(non-regressive) 데이터 업데이트를 방지하지 못하거나, 실행 불가능한 목표에 내재된 불확실성을 처리하는 메커니즘이 부족한 경우가 많습니다.

방법론: 에이전트 기반 데이터 진화 (ADE)

저자들은 **에이전트 기반 데이터 진화(ADE)**를 제안합니다. 이는 데이터 구축을 일회성 생성 작업이 아닌, 연속적인 교차 라운드 데이터 진화(data evolution) 문제로 재정의하는 데이터 중심 프레임워크입니다. ADE는 역할이 특화된 LLM 에이전트들에 의해 실행되는 폐쇄 루프형 관찰-변이-선택(Observation–Variation–Selection, OVS) 프로토콜을 통해 작동합니다.

1. OVS 프로토콜

각 데이터 스냅샷 $D^{(t)}$ 의 각 인스턴스 $(q, a)$ 에 대해 프로토콜은 다음과 같이 진행됩니다:

관찰 (라우팅 및 비평):
- 라우팅(Routing): 에이전트는 평가 노력을 집중하기 위해 인스턴스를 주요 차원( $d^\star$ : 가치 지향성, 정서적 지원, 또는 창의적 혁신)에 할당합니다.
- 비평(Critique): 시스템은 일반적인 비평가(내용/작문)와 라우팅된 목표에 정렬된 차원별 비평가로 구성된 분해된 비평 세트 $C$ 를 생성합니다. 이는 후속 단계를 위한 근거 역할을 합니다.
변이 (성찰적 돌연변이):
- 관찰된 근거 $C$ $C$ 를 사용하여 시스템은 두 가지 유형의 자손 후보를 생성합니다:
  - 보수적 제안자(Conservative Proposer): 부모의 구조와 의도를 보존하면서 명시적인 약점을 타겟으로 미세한 단계의 수정을 수행합니다.
  - 공격적 제안자(Aggressive Proposer): 과업의 의미론을 유지하면서 비평 내용을 더 철저히 해결하기 위해 큰 단계의 재구성을 수행합니다.
- 또한, 이전의 거절된 시도들로부터 얻은 실패 신호 $(a^-, r^-)$ 를 통합하여 자기 교정을 장려하고 동일한 실패 모드가 반복되는 것을 방지합니다.
선택 (비교 수용):
- 선택(Select): 비교 판정사는 라우팅된 목표를 기준으로 부모와 자손( $\hat{a}$ ) 중 최적의 후보를 선택합니다.
- 수용(Admit): 정상 상태 수용 메커니즘(steady-state admission mechanism)은 품질 래칫(quality ratchet) 역할을 합니다. 부모 $a$ 와 생존자 $\hat{a}$ 를 비교하여, 비교 근거가 개선을 명확히 뒷받침하는 경우에만 업데이트를 확정( $\delta = \text{ACCEPT}$ )합니다. 그렇지 않으면 부모를 유지하고 거절 사유를 향후 반복을 위해 기록합니다. 이 메커즘은 비퇴보적 업데이트를 보장하고 진화 과정을 안정화합니다.

2. 데이터 구축 및 검증

콜드 스타트 ( $D^{(0)}$ ): 초기 데이터셋은 K-12 교육 맥락에 맞춤화된 탑다운 파이프라인(개념 $\to$ 시나리오 $\to$ 질문 $\to$ 답변)을 통해 합성되었으며, 결과적으로 10,000개의 문답 쌍을 생성했습니다.
검증 삼각 측량(Validation Triad):
- 내재적 검증(Intrinsic Validation): LLM-as-a-Judge를 사용하여 홀드아웃 세트(DEV300)에 대해 진화 라운드 전반의 쌍체 선호 승률을 추적합니다.
- 외재적 검증(Extrinsic Validation): 진화된 스냅샷( $D^{(t)}$ )으로 사후 학습된 모델을 다운스트림 벤치마크(Edu-Values, EduBench)에서 평가하여 전이 가능성을 검증합니다.
- 인간 교정 검증(Human-Calibrated Validation): 자동화된 신호를 인간의 판단에 고정하기 위한 블라인드 전문가 평가를 수행합니다.

주요 기여

프레임워크 정식화: ADE는 약하게 검증 가능한 목표를 위한 합성 감독 구축을 반복적인 데이터 진화 과정으로 정식화하여, 합성 데이터 생성에서의 선택 병목 현상을 해결합니다.
안정성 메커니즘: 정상 상태 수용 및 **엘리트 보존(elitist preservation)**의 도입은 업데이트가 보수적으로 이루어지도록 보장하며, 약한 검증 하의 반복적 정교화 과정에서 흔히 발생하는 조용한 퇴보와 의미론적 표류를 방지합니다.
역할 특화 에이전트: OVS 프로토콜은 라우팅, 분해된 비평, 그리고 이중 모드 변이(보수적/공격적)를 위한 별도의 에이젝트를 활용하여 정밀도와 다양성의 균형을 맞춥니다.
포괄적 검증: 본 논문은 비실행적 도메인의 개선을 엄격하게 평가하기 위해 세 가지 측면의 검증 전략(내재적, 외재적, 인간 교정)을 수립하였습니다.

실험 결과

본 프레임워크는 Qwen2.5 모델을 사용하여 DEV300 및 다양한 벤치마크에서 평가되었습니다.

내재적 이득: DEV300에서 ADE는 4번의 진화 라운드 후 내재적 승률을 베이스라인 **50%**에서 **75.81%**로 높였습니다. 개선은 라운드 전반에 걸쳐 단조롭게 나타나 안정성을 입증했습니다.
외재적 이득: ADE로 진화된 데이터( $D^{(4)}$ $D^{(4)}$ )로 사후 학습된 모델은 초기 스냅샷( $D^{(0)}$ $D^{(0)}$ )으로 학습된 모델보다 우수한 성능을 보였습니다.
- DEV300 외재적 승률: **55.20%**에서 **68.86%**로 향상되었습니다.
- Edu-Values & EduBench: 전문 철학, 문해력, 기초 기술 및 윤리 차원의 전 영역에서 일관된 성능 향상이 관찰되었습니다.
인간 선호도: 블라인드 전문가 평가 결과, 진화된 답변이 베이스라인 답변보다 66.11% 더 높은 선호도를 보였으며, 인간 주석가와 LLM 판정사 간의 높은 일치도를 보였습니다 (Cohen's $\kappa = 0.7149$ ).
일반화 능력:
- 방법론 전이: 성능 향상은 지도 미세 조정(SFT)과 강화 학습(DPO) 모두에서 일관되게 나타났습니다.
- 규모 전이: 7B 및 72B 모델 규모 모두에서 개선 효과가 유지되었습니다.
- 도메인 외(Out-of-Domain): 검증 가능한 과업에서도 양의 전이가 관찰되었습니다 (MATH-500 정확도 +1.20%, ToxiCN F1 +1.18%). 이는 개선 사항이 프로토콜 특정 선호도를 넘어 확장됨을 시사합니다.

의의 및 주장

본 논문은 ADE가 인간 중심적이고, 실행 불가능하며, 맥락 의존적인 목표를 위한 합성 감독을 개선하는 실질적인 경로를 제공한다고 주장합니다. 데이터를 증거 기반 수용이 있는 안정적인 진화 루프로 취급함으로써, ADE는 단일 라운드 생성과 약한 검증의 한계를 극려합니다.

저자들은 자신들의 접근 방식이 병목 현상을 후보 생성에서 불확실성 하의 업데이트 선택으로 전환한다고 강조합니다. 저자들은 관찰된 이득이 단순히 프로토콜 정렬의 부산물이 아니라, 인간 전문가에 의해 검증되고 다양한 과업과 모델 규모로 전이되는, 교육적 의도와 결정 구조의 진정한 개선을 나타낸다고 주장합니다. 이러한 프레 framework은 지능형 교육과 같은 고위험, 인간 대면 애플리케이션을 위한 차세대 모델 개발에 필수적임을 시사합니다.