💬 NLP

DIRECT: Direct Decoding for Efficient and Aligned Sequence Labeling with Large Language Models

이 논문은 더 나은 정렬을 위한 직접 선호 최적화(Direct Preference Optimization)와 중복 계산을 최소화하는 제어된 템플릿 채우기 디코딩 메커니즘을 결합하여, 시퀀스 레이블링에 대한 대규모 언어 모델의 성능과 효율성을 향상시키는 프레임워크인 DIRECT를 제안한다.

원저자: Yilei Wang, Jiaxin Gan, Kexuan Zhang, Ling Li, Wentao Zhang, Peichao Lai

게시일 2026-07-30

📖 3 분 읽기☕ 가벼운 읽기

CC0 1.0

원저자: Yilei Wang, Jiaxin Gan, Kexuan Zhang, Ling Li, Wentao Zhang, Peichao Lai

원본 논문은 CC0 1.0 (http://creativecommons.org/publicdomain/zero/1.0/)에 따라 공공 도메인에 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 거의 인터넷상의 모든 책을 읽은 아주 똑똑한 로봇이 있다고 상상해 보세요. 이 로봇은 시를 쓸 수도 있고, 수학 문제를 풀 수도 있으며, 사람처럼 대화할 수도 있습니다. 이것이 과학자들이 말하는 '대규모 언어 모델(LLM)'입니다. 하지만 여기 함정이 있습니다. 이 로봇은 일반적인 대화에는 천재적이지만, 매우 구체적이고 규칙이 엄격한 일을 시키면 조금 엉망이 될 수 있다는 점입니다. 이러한 일 중 하나가 바로 '시퀀스 레이블링(sequence labeling)'입니다. 이것은 문장을 따라가며 모든 단어에 특정 스티커를 붙이는 '술래잡기' 게임과 같습니다. "Apple"은 회사인가? "Tim"은 사람인가? "March"는 날짜인가? 로봇은 단 하나의 오차도 없이, 추가적인 단어나 누락된 태그 없이, 정확한 순서대로 모든 스티커를 제대로 붙여야 합니다.

문제는 이 로봇들이 창의적이고 자유분방하게 행동하는 데 익숙하다는 점입니다. 규칙을 엄격히 따르라고 요구하면, 이들은 때때로 혼란스러워하거나, 형식을 잊어버리거나, 혹은 그냥 말을 지어내기도 합니다. 또한, 이들은 매우 수다스럽기 때문에 모든 단어를 하나하나 생각하느라 시간이 오래 걸리고 실행 비용도 많이 듭니다. 과학자들은 이 로봇이 규칙을 더 잘 따르고 업무를 더 빠르게 수행하도록 가르치려 노력해 왔지만, 그것은 마치 골든 리트리버에게 정밀한 수술을 수행하도록 가르치는 것과 같았습니다.

여기서 DIRECT라는 새로운 방법이 등장합니다. 이 논문의 연구자들은 두 가지 큰 골칫거리, 즉 로봇이 지시를 충분히 잘 따르지 못하는 문제와 로봇이 너무 느리다는 문제를 해결하고 싶었습니다. 그들은 단순히 로봇을 더 세게 가르치려고 한 것이 아니라, 로봇이 배우는 방식과 생각하는 방식을 바꾸었습니다.

첫째, 그들은 로봇에게 **직접 선호도 최적화(Direct Preference Optimization, DPO)**라는 특별한 종류의 훈련을 제공했습니다. 당신이 강아지에게 공 가져오기를 가르치고 있다고 상상해 보세요. 단순히 "공 가져와"라고 말하는 대신, 공을 가져오는 두 가지 다른 방식을 보여주는 것입니다. 하나는 공을 완벽하게 가져오는 것이고, 다른 하나는 중간에 공을 떨어뜨리는 것입니다. 그런 다음 당신은 강아지에게 "나는 첫 번째 방식이 훨씬 더 좋아"라고 말합니다. 이처럼 로봇에게 수천 개의 이러한 "좋은 예시 vs 나쁜 예시"를 보여줌으로써, 로로봇은 인간이 무엇을 선호하는지 정확히 이해하게 되며, 처음부터 일을 제대로 해낼 가능성이 훨씬 높아집니다.

둘째, 정말 영리한 부분인데, 그들은 실제 테스트 중에 로봇이 답을 쓰는 방식을 바꿨습니다. 보통 로봇은 이미 알고 있는 단어들을 포함하여 문장 전체를 단어 하나하나 다시 써야 합니다. 이것은 마치 학생에게 신데렐라 이야기의 마지막 부분에서 드레스 색깔만 바꾸기 위해 이야기 전체를 다시 쓰라고 요구하는 것과 같습니다. DIRECT는 이러한 낭비를 막습니다. 이야기를 통째로 다시 쓰는 대신, 로봇에게 "빈칸 채우기" 템플릿이 주어집니다. 로봇은 오직 특정 스티커(레이블)들만 작성하면 되고 나머지는 건너뛸 수 있습니다. 컴퓨터는 나머지 이야기를 즉각적으로 기억하며, 이를 통해 엄청난 양의 시간과 에너지를 절약합니다.

이 새로운 접근 방식의 결과는 매우 인상적입니다. 연구진은 사람, 장소, 조직의 이름을 찾는 것과 같은 다양한 연습 문제 세트인 8개의 서로 다른 데이터셋을 통해 DIRECT를 테스트했습니다. 그들은 DIRECT가 다른 최고 수준의 방법들보다 더 정확할 뿐만 아니라 훨씬 더 빠르다는 것을 발견했습니다. 실제로 어떤 테스트에서는 기존의 가장 좋은 방법들보다 최대 9배 더 빨랐습니다.

그들이 왜 이 방식이 그렇게 잘 작동했는지 자세히 살펴보았을 때, 두 부분 모두가 필수적이라는 것을 발견했습니다. 만약 특별한 훈련(DPO)을 제거한다면 로봇은 더 많은 실수를 저질렀습니다. 만약 "빈칸 채우기" 속도 트릭을 제거한다면 로봇은 정답은 맞혔지만 수행하는 데 시간이 너무 오래 걸렸습니다. 엄격한 규칙 준수 훈련과 불필요한 작업을 건너뛰는 스마트한 방식을 결합함으로써, DIRECT는 최선의 두 가지를 모두 얻어냈습니다. 즉, 완벽주의자이면서 동시에 스피드 레이서인 로봇을 만든 것입니다.

이 논문은 적절한 훈련과 약간의 공학적 기교가 있다면, 우리가 이러한 강력한 AI 도구들을 정밀함이 요구되는 작업에 훨씬 더 유용하게 만들 수 있음을 보여줍니다. 이는 단순히 로봇을 더 똑똑하게 만드는 것이 아닙니다. 그것은 로봇에게 어떻게 집중하고 어떻게 효율적으로 일할지를 가르쳐서, 수다스러운 천재를 믿음직하고 빠른 일꾼으로 바꾸는 것입니다.

기술 요약: 효율적이고 정렬된 시퀀스 레이블링을 위한 DIRECT

1. 문제 정의

시퀀스 레이블링(Sequence Labeling)은 개체명 인식(NER), 단어 분절(Word Segmentation), 품사 태깅(POS Tagging)을 포함하는 미세 단위의 정보 추출 작업으로, 다운스트림 NLP 애플리케이션에서 매우 중요합니다. 대규모 언어 모델(LLM)은 지도 미세 조정(SFT)을 통해 저자원 시나리오에서 유망한 성능을 보여주었으나, 기존 방식들은 두 가지 주요 과제에 직면해 있습니다:

불충분한 도메인 정렬(Domain Alignment): 현재의 방식들은 SFT 과정에서 지시어 기반의 포맷팅에 의존합니다. 그러나 이는 모델이 출력되는 시퀀스가 기대되는 시퀀스 레이블링 구조를 엄격히 준수하도록 보장하지 못하며, 이로 인해 포맷 위반 및 인간의 선호도와의 불일치가 발생합니다.
낮은 추론 효율성: 대부분의 접근 방식은 추론 시 표준적인 자기회귀(Autoregressive) 디코딩 과정을 유지합니다. 이는 모델이 구조적 요소(예: 괄호, 구분자) 및 이미 알려진 컨텍스트를 포함하여 출력 시퀀스의 모든 토큰을 생성해야 함을 의미하며, 결과적으로 중복 계산과 느린 추론 속도를 초래합니다.

2. 방법론: DIRECT

저자들은 훈련 단계의 최적화와 추론 단계의 교정이라는 이중 메커니즘을 통해 정렬과 효율성을 해결하기 위해 설계된 프레임워크인 DIRECT(DPO-based Inference RECTification)를 제안합니다.

2.1. 정밀도 지향 모델 최적화 (훈련 단계)

도메인 특화 정렬을 강화하기 위해, DIRECT는 표준 SFT에 이어 **직접 선호도 최적화(Direct Preference Optimization, DPO)**를 채택합니다.

데이터 구축: SFT를 거친 모델이 입력 시퀀스에 대한 후보 답변을 생성합니다. 선호도 쌍 $(X, O^+, O^-)$ 은 $O^+$ 가 정답(Ground Truth)이고 $O^-$ 가 "덜 선호되는" 샘플인 형태로 구성됩니다.
선택 전략: 엔트로피 이득을 극대화하기 위해, 덜 선호되는 샘플은 특정 기준에 따라 선택됩니다: 높은 BLEU 점수(유창성 나타냄)를 가지지만 낮은 F1 점수(부정확한 개체 추출 나타냄)를 갖는 샘플입니다. 이를 통해 모델이 유창하지만 틀린 출력과 정확하고 구조화된 출력 사이의 차이를 학습하도록 강제합니다.
최적화: DPO 목적 함수는 고정된 참조 모델 대비 학습 가능한 모델의 선호되는 출력과 덜 선호되는 출력 간의 로그 확률 차이를 최대화하여, 시퀀스 레이블링 작업에 대한 모델의 행동을 인간의 선호도에 효과적으로 정렬합니다.

2.2. 추론 교정 (추론 단계)

추론 시, DIRECT는 엄격한 포맷 준수를 강제하고 계산 효율성을 극대화하는 제어된 디코딩 프로세스를 도입합니다.

템플릿 채우기 메커니즘: 모델이 전체 출력 시퀀스를 자기회귀적으로 생성하는 대신, 오직 레이블 토큰만을 생성하도록 제한합니다. 구조적 구성 요소(예: 단어, 괄호, 구분자)는 템플릿을 통해 미리 채워집니다.
KV 캐시 재사용: 이 프레임워크는 중복된 어텐션 연산을 피하기 위해 키-값(Key-Value, KV) 캐시를 활용합니다.
1. 프리필링(Prefilling): 단어 $x_i$ 에 대한 레이블을 예측하기 전, 시스템은 이전의 알려진 시퀀스(컨텍스트 $C_{t-2}$ )를 단 한 번의 패스로 처리하여 KV 캐시를 계산하고 저장합니다.
2. 점진적 생성: 모델은 레이블에 필요한 특정 토큰(예: 왼쪽 괄호 및 레이블 문자)에 대해서만 새로운 키-값을 계산합니다.
3. 후보 제한: 디코딩 공간은 사전 정의된 레이블 토큰 후보 집합으로 제한되어 구문론적 유효성을 보장합니다.
결과: 이 접근 방식은 알려진 접두사(Prefix)에 대해 단일 프리필 패스로 여러 어텐션 연산을 통합함으로써 생성 단계를 크게 줄입니다.

3. 주요 기여

본 논문은 세 가지 주요 기여를 설명합니다:

도메인 적응형 정렬 최적화: 정교한 선호도 쌍 선택 전략과 결합된 DPO를 통합하고 추론 중 제어된 개입을 도입함으로써, LLM이 시퀀스 레이블링 작업을 더 잘 이해하고 인간의 선호도에 더 밀접하게 정렬되도록 합니다.
추론 효율성의 획기적 향상: 템플릿 채우기 메커니즘을 통해 모델이 레이블 토큰만을 생성하고 나머지 시퀀스에 대해 KV 캐시를 재사용하게 함으로써, 최신 기술(SOTA) 대비 최대 9배 빠른 추론 속도를 달实现합니다.
최첨단 성능(SOTA): 저자원 설정에서의 NER 및 POS 작업에 대한 광범기한 실험을 통해, DIRECT가 기존 베이스라인보다 우수한 성능을 달성함을 입증했습니다.

4. 실험 결과

저자들은 저자원 설정( $K=250, 500, 1000$ 샘플)에서 8개의 데이터셋(중국어 4개, 영어 NER/POS 데이터셋 4개)에 대해 DIRECT를 평가했습니다.

성능: GLM4-9B-Chat을 백본으로 사용할 때, DIRECT는 거의 모든 데이터셋에서 일관되게 가장 높은 F1 점수를 기록했습니다. LLaMA-3.1-8B-Instruct를 사용했을 때는 일반적으로 두 번째로 좋은 결과를 얻었습니다.
- MIT-Movie 데이터셋에서 주목할 만한 개선이 관찰되었는데, 샘플 크기에 따라 베이스라인 대비 F1 점수가 **13.69%에서 15.69%**까지 증가했습니다.
- 다양한 데이터셋에 걸쳐 평균 F1 개선 폭은 0.37%에서 14.72% 사이였습니다.
절제 연구(Ablation Studies): DPO를 제거하거나("w/o DPO") 추론 교정을 제거하면("w/ SFT"만 사용) 일관된 성능 저하가 나타났습니다. 특히 Taobao 및 MIT-Movie 데이터셋에서 전체 DIRECT 파이프라인을 제거했을 때 F1이 최대 20.21% 하락하여, 훈련 및 추론 구성 요소 모두의 필요성을 확인했습니다.
효율성: CTB6 데이터셋에 대한 추론 시간 분석 결과, DIRECT는 10개 문장을 처리하는 데 32.86초가 소요된 반면, GNER는 309.44초, InstructUIE는 1,468.00초가 소요되었습니다. 이는 강력한 베이스라인들에 비해 약 10배의 속도 향상을 나타냅니다.
사례 연구: 정성적 분석 결과, 베이스라인들은 종종 출력 누락, 중복 출력 또는 포맷 위반(예: 특정 단어 레이블링 실패 또는 구조적 규칙 무시) 문제를 겪었습니다. DIRECT는 출력 포맷을 엄격히 준수하고 모든 개체를 정확하게 분류함으로써 탁월한 견고성을 보여주었습니다.

5. 의의

본 논문은 DIRECT가 특히 저자원 환경에서 시퀀스 레이블링 작업을 위한 LLM 배포의 실질적인 솔루션을 제공한다고 주장합니다. DPO를 통해 모델의 행동을 작업별 요구사항에 정렬하고, 템플릿 채우기 메커니즘을 통해 중복 생성을 제거함으로써, 이 방법은 정확도와 정렬을 크게 개선하는 동시에 계산 비용을 획기적으로 줄이는 이중적인 돌파구를 마련했습니다. 저자들은 DIRECT가 성능과 배포 가능성 모두에서 기존의 생성적 및 판별적 접근 방식을 능가하는 매우 효율적이고 견고한 프레임워크라고 규정합니다.