💬 NLP

DTO: a Differentiable Training Objective for Effective Counterfactual Story Rewriting

본 논문은 참조 충실도와 의미적 일관성을 공동으로 최적화하기 위해 엔드투엔드 역전파 손실을 사용하는 새로운 미분 가능 훈련 목적 함수(DTO)를 제안하여, 반사실적 이야기 재작성에서의 국소적 수정 관련 과제를 효과적으로 해결하고 기존 전통적 베이스라인 및 강화 학습 접근법보다 우수한 성능을 달성함을 제시합니다.

원저자: Amelia Girard, Massimo Piccardi

게시일 2026-05-26

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Amelia Girard, Massimo Piccardi

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

줄리라는 이름의 캐릭터가 축구 경기에서 결승골을 넣는 이야기를 상상해 보세요. 이제 누군가가 "만약 줄리가 전혀 경기에 나가지 않았다면 어떨까요? 만약 그녀가 관중석에서 그저 구경만 하고 있었다면 어떨까요?"라고 말한다고 가정해 봅시다.

당신의 임무는 이 새로운 '만약' 시나리오에 맞춰 이야기의 결말을 다시 쓰는 것입니다. 하지만 까다로운 점은, 줄리가 관중석에서 구경하는 것과 관련된 부분들만 변경해야 한다는 것입니다. 다른 선수들, 점수, 열기 등 그 외의 모든 요소는 정확히 그대로 유지해야 합니다. 너무 많이 바꾸면 이야기가 엉망이 되고, 너무 적게 바꾸면 새로운 규칙과 어울리지 않아 이야기가 성립하지 않게 됩니다.

이 논문은 컴퓨터에게 이 '스토리 편집' 작업을 완벽하게 수행하도록 가르치는 방법에 관한 것입니다.

문제: 컴퓨터는 너무 서툴다

저자들은 거대한 컴퓨터 두뇌 (대형 언어 모델) 가 이야기 쓰기는 뛰어나지만, 이 특정 '편집' 작업에는 어려움을 겪는다고 설명합니다.

'복사 - 붙여넣기' 문제: 컴퓨터에게 원본 이야기를 가능한 한 그대로 복사하라고만 지시하면, 줄리가 골을 넣는 원본 결말을 그대로 복사할 뿐입니다. 무엇을 바꿔야 하는지 깨닫지 못합니다.
'과도한 편집' 문제: 강화 학습과 같은 복잡하고 시행착오를 거치는 방법으로 컴퓨터에게 강제로 이야기를 바꾸게 하면, 종종 혼란을 겪어 너무 많이 변경하여 전체 이야기를 망쳐버립니다.

이는 그림의 아주 작은 흠집을 고치기 위해 아예 무시하거나 캔버스 전체를 다시 칠하는 것과 같습니다.

해결책: '부드러운' 훈련 목표 (DTO)

저자들은 컴퓨터를 가르치는 새로운 방법을 제안했는데, 이를 DTO(Differentiable Training Objective, 미분 가능한 훈련 목표) 라고 부릅니다.

컴퓨터를 훈련시키는 것을 시험을 준비하는 학생을 가르치는 것에 비유해 봅시다.

옛 방식 (최대 가능도): 선생님이 "당신의 목표는 정답 키를 단어 단위로 정확히 맞추는 것입니다"라고 말합니다. 학생은 정확한 단어를 외우려고 노력합니다. 정답 키에 "The cat sat(고양이가 앉았다)"라고 되어 있는데, 학생이 "The feline sat(포유류가 앉았다)"라고 쓰면 의미가 같더라도 감점을 받습니다.
새로운 방식 (DTO): 선생님이 "당신의 목표는 우리가 원하는 편집된 버전처럼 들리면서도, 우리가 원하지 않는 원본 버전과는 매우 다르게 들리도록 하는 것입니다"라고 말합니다.

이를 위해 저자들은 BARTScore라는 특별한 도구를 사용합니다. BARTScore는 두 가지 이야기를 읽고 "이 두 이야기가 얼마나 유사한가?"라고 알려줄 수 있는 매우 똑똑하고 초고속 편집자라고 상상해 보세요.

이 논문의 마법 같은 트릭은 이 '편집자'를 **미분 가능 (differentiable)**하게 만드는 것입니다.

비유: 보통 컴퓨터가 이야기를 쓸 때는 한 번에 하나의 특정 단어 (예: "cat") 를 선택합니다. 이는 전등 스위치와 같습니다: 켜짐 (ON) 이거나 꺼짐 (OFF) 일 뿐입니다. 전등 스위치를 '반쯤 켜짐'으로 부드럽게 조절할 수는 없습니다.
혁신: 저자들은 컴퓨터에게 '부드러운' 단어로 쓰도록 가르쳤습니다. 단순히 "cat"만 선택하는 대신, 컴퓨터는 가능성의 '구름'을 출력합니다 (50% "cat", 30% "feline", 20% "kitten"). 이 '구름'은 부드럽고 조절 가능합니다.
결과: 출력이 부드럽기 때문에 컴퓨터는 '편집자'의 피드백 (BARTScore) 을 보고 점수를 더 잘 받기 위해 그 '구름'을 부드럽게 조정할 수 있습니다. 이는 망치로 바위를 깎는 것이 아니라, 조각가가 손으로 점토를 다듬는 것과 같습니다.

그들이 발견한 것

저자들은 28,000 개의 이야기로 구성된 TIMETRAVEL이라는 데이터셋에서 이 새로운 방법을 테스트했습니다.

기본 방법보다 우수함: 그들의 새로운 방법은 표준 '복사 - 붙여넣기' 훈련 방법보다 뛰어났습니다. 그들이 쓴 이야기는 인간이 편집한 버전과 더 가까웠으며, 원본 이야기의 흐름을 더 잘 유지했습니다.
복잡한 방법보다 우수함: 추측과 검증을 통해 학습하려는 다른 고급 방법 (CPO 등) 보다도 더 우수했으며, 훨씬 더 빠르고 안정적으로 수행되었습니다.
작은 모델, 큰 성과: 그들은 상대적으로 작은 컴퓨터 모델 (약 4 억 개의 파라미터) 을 사용했습니다. GPT-4o 와 같은 거대 모델이 100 배에서 500 배 더 크지만, 이 작고 똑똑하게 훈련된 모델은 이 특정 작업에서 거대 모델만큼 잘, 혹은 더 잘 수행했습니다.

결론

이 논문은 복잡한 작업을 수행하기 위해 항상 거대하고 비싼 컴퓨터가 필요한 것은 아님을 증명합니다. 원하는 특정 유형의 편집을 직접 보상하는 더 나은 '선생님'(훈련 목표) 을 작은 컴퓨터에게 주면, 인간 편집자의 정밀도로 이야기를 다시 쓸 수 있게 됩니다. 이야기를 일관성 있게 유지하면서 딱 필요한 변화만 가하는 것입니다.

간단히 말해: 그들은 컴퓨터에게 추측에 의존하는 옛 방식이 아닌, 부드럽고 수학적으로 처리하기 쉬운 방법을 사용하여 생성기가 아닌 정밀한 편집자가 되도록 가르치는 방법을 발견했습니다.

기술 요약: 효과적인 반사실적 이야기 재작성을 위한 미분 가능한 훈련 목적 함수

문제 정의
반사실적 이야기 재작성은 특정 대안적 사건 (반사실 조건) 을 반영하도록 기존 서사를 업데이트하면서 영향을 받지 않는 줄거리 요소를 모두 보존하고 전체적인 일관성을 유지해야 하는 자연어 처리 (NLP) 작업입니다. 핵심 과제는 필요한 수정 사항의 성격에 있습니다. 이러한 수정 사항은 일반적으로 크기가 매우 작고 국소적으로 국한되어 있습니다. 따라서 기존의 최대 가능도 (부정 로그 가능도, NLL) 목적 함수로 훈련된 모델은 이러한 미묘한 차이를 간과하여 반사실 조건을 통합하지 못하거나 서사 흐름을 해치는 과도한 편집을 하는 경향이 있습니다. 강화 학습 (RL) 접근법은 특정 지표를 최적화할 수 있는 방법을 제공하지만, notoriously 느리고 설정이 어려우며 샘플링 노이즈로 인해 높은 분산을 겪는다는 치명적인 단점이 있습니다.

방법론
저자들은 비미분 가능 정책 경사에 의존하지 않고 반사실적 재작성의 특정 요구 사항에 대해 생성 모델을 직접 최적화하는 새로운 **미분 가능한 훈련 목적 함수 (DTO)**를 제안합니다.

지표 선정: 이 접근법은 사전 훈련된 BART 모델을 기반으로 한 텍스트 생성 평가 지표인 BARTScore를 활용합니다. n-gram 기반 지표 (예: BLEU, ROUGE) 와 달리 BARTScore 는 소스 텍스트가 주어졌을 때 가설 텍스트의 로그 가능도를 추정하여 의미적 정렬과 유창성을 포착합니다.
델타 스코어링: 변경되지 않은 구간을 과도하게 평가할 수 있는 글로벌 유사성 지표의 한계를 해결하기 위해, 저자들은 **델타 스코어 ( $\Delta M$ )**를 도입합니다. 이 스코어는 생성된 출력에 대한 수정된 (반사실적) 참조 텍스트의 지표 스코어와 원본 결말에 대한 스코어 간의 차이로 정의됩니다. 이 대조적 측정은 모델이 원본 텍스트가 아닌 반사실적 목표에 더 가까워지도록 명시적으로 보상합니다. 또한 절대적 정확도와 상대적 개선을 균형 있게 조정하기 위해 조정된 스코어도 제안됩니다.
미분 가능성 메커니즘: 표준 지표와 이산 토큰 생성은 미분 가능하지 않으므로, 저자들은 "연화 (softening)" 기법을 사용합니다. 이산 토큰을 샘플링하는 대신 생성 모델은 어휘에 대한 확률 분포를 출력합니다. 이 분포는 BARTScore 모델의 임베딩 행렬과 곱해져 "기대 임베딩 (soft token)"을 생성합니다. 이 연속적 표현을 통해 BARTScore 모델 (동결 상태) 을 거쳐 생성 모델의 매개변수로 직접 기울기를 역전파할 수 있게 됩니다.
훈련 과정: 모델은 BARTScore (또는 델타 조정 BARTScore) 의 음수에서 유도된 손실 함수를 사용하여 엔드 투 엔드 역전파를 통해 미세 조정됩니다. 이는 RL 방법과 관련된 샘플링으로 인한 노이즈를 피하면서 훈련 신호를 평가 기준과 직접 정렬시킵니다.

주요 기여

새로운 훈련 접근법: 본 논문은 표준 가능도가 아닌 반사실적 재작성 지표 (특히 BARTScore 기반 델타 스코어) 를 사용하여 생성 모델을 명시적으로 최적화하는 훈련 전략인 DTO 를 도입합니다.
보상 함수 탐색: 저자들은 BARTScore 기반의 다양한 보상 함수를 평가하여 기대되는 반사실적 결말에 대한 준수와 원본 결말과의 차별화 사이의 트레이드오프를 탐구합니다.
성능 검증: 연구는 DTO 접근법이 표준 최대 가능도 베이스라인과 선호도 기반 접근법 (Contrastive Preference Optimization, CPO) 보다 우수함을 입증합니다. 또한 GPT-4o 와 Gemini 2.0 과 같은 두 개의 최신 대규모 언어 모델 (LLM) 과도 경쟁력 있는 성능을 보입니다.

실험 결과
실험은 TIMETRAVEL 데이터셋 (약 28,000 개 인스턴스) 과 생성 작업에 맞게 적응된 ART 데이터셋에서 수행되었습니다.

베이스라인과의 비교: DTO 기반 모델 (특히 DTO-Score 와 DTO-Score+Delta) 은 BARTScore, ROUGE-L, SacreBLEU 지표 전반에 걸쳐 NLL 및 CPO 베이스라인보다 예측 점수 (참조 텍스트에 대한 충실도) 와 반사실 점수 (새로운 조건을 통합하는 능력) 에서 모두 우수한 성과를 거두었습니다.
LLM 과의 비교: 미세 조정된 BART 모델 (04B 파라미터) 은 모든 지표에서 제로샷 GPT-4o 성능을 모두 능가하지는 못했지만, 예측 정확도 측면에서는 LLM 들을 현저히 능가했습니다. 특히, 작은 DTO 모델은 계산 부하의 일부만 요구하면서도 훨씬 더 큰 LLM 들 (약 200B 및 70B 파라미터 추정) 과 경쟁력 있는 반사실 점수를 달성했습니다.
정성적 분석: 사례 연구에 따르면 DTO 모델은 반사실 전제를 존중하는 최소적이고 정확한 편집을 생성하는 반면, LLM 들 (특히 원샷 구성에서) 은 작업 지시사항에서 크게 벗어나거나 프롬프트에 존재하지 않는 요소로 이야기를 "과장"하는 경향이 있었습니다.
애블레이션: DTO 접근법은 원본 결말이 입력에서 제거된 "애블레이션" 설정에서도 강력한 성능을 유지했는데, 이는 전제와 사건만을 기반으로 결말을 예측하는 데 있어 견고함을 시사합니다.

의의 및 주장
본 논문은 제안된 DTO 접근법이 세밀하고 통제된 텍스트 생성 작업에 대한 작업별 미분 가능 목적 함수의 효과성을 입증한다고 주장합니다. 평가 지표를 훈련 신호의 일부로 취급함으로써, 이 방법은 안정적인 수렴을 달성하고 모델 기울기를 정확하면서도 최소한의 재작성이라는 최종 목표와 정렬시킵니다. 저자들은 효과적인 미분 가능한 훈련 목적 함수를 갖춘 작은 언어 모델이 100~500 배 더 큰 상업용 등급 모델과 비교할 수 있는 성능을 발휘할 수 있으며, 이는 특수화된 NLP 작업을 위한 계산 효율적인 대안을 제공한다고 결론지었습니다.

문제: 컴퓨터는 너무 서툴다

해결책: '부드러운' 훈련 목표 (DTO)

그들이 발견한 것

결론

유사한 논문