💬 NLP

Sequence Repetition Enhances Token Embeddings and Improves Sequence Labeling with Decoder-only Language Models

이 논문은 시퀀스 반복(sequence repetition)이 인과적 마스크 제거(causal mask removal)보다 덜 침습적인 대안으로서, 디코더 전용 언어 모델이 시퀀스 레이블링 태스크를 위해 양방향 문맥을 효과적으로 활용할 수 있게 하여, 중간 레이어 표현의 사용을 통해 효율성을 유지하면서도 인코더 전용 모델 및 마스크가 없는 디코더 모두와 비교하여 더 우수한 토큰 임베딩과 성능을 도출한다는 것을 입증한다.

원저자: Matija Luka Kukić, Marko Čuljak, David Dukić, Martin Tutek, Jan Šnajder

게시일 2026-01-27

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Matija Luka Kukić, Marko Čuljak, David Dukić, Martin Tutek, Jan Šnajder

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 문제: "일방통행" vs "양방향 통행"

당신이 한 문장을 이해하려고 노력하고 있다고 상상해 보세요.

**인코더 전용 모델 (BERT와 같은 모델)**은 책을 읽을 때 앞뒤를 모두 볼 수 있는 사람과 같습니다. 이들은 특정 단어의 의미를 파악하기 위해 그 단어 앞의 단어와 뒤의 단어를 모두 볼 수 있습니다. 이는 모든 단어에 라벨을 붙여야 하는 작업(예: 사람이나 장소의 이름 찾기)에 매우 유용합니다.
**디코더 전용 모델 (챗봇을 구동하는 모델과 같은 모델)**은 책을 읽을 때 오직 앞(미래)만 볼 수 있는 사람과 같습니다. 이들은 현재 단어 다음에 무엇이 올지만 볼 수 있습니다. 이들은 문장 전체를 한꺼번에 분석하는 것이 아니라, 다음 단어를 예측하도록 설계되었습니다.

이러한 "일방통행"의 한계 때문에, 디코더 전용 모델은 역사적으로 문장의 모든 단어에 라벨을 붙이는 작업에서 "양방향 통행" 모델보다 성능이 떨어졌습니다.

기존의 해결책: 규칙 깨기

이를 해결하기 위해 연구자들은 "대형 망치"를 사용하는 접근 방식을 시도했습니다. 그들은 모델이 뒤를 돌아보는 것을 막는 규칙을 물리적으로 제거했습니다. 즉, 모델의 내부 구조를 변경하여 "일방통행"을 "양방향 통행"으로 바꾼 것입니다.

단점: 이것은 자동차가 후진할 수 있게 만들기 위해 엔진을 통째로 재건축하는 것과 같습니다. 복잡하고, 침습적이며, 많은 재설계가 필요합니다.

새로운 해결책: "시퀀스 반복" (에코 체임버/메아리 효과)

이 논문의 저자들은 훨씬 더 간단하고 "도구가 필요 없는" 트릭을 찾아냈습니다. 모델의 엔진을 바꾸는 대신, 모델에 입력하기 전에 문장을 반복하는 방법을 사용했습니다.

비유:
당신이 *"I went to the river bank (나는 강가에 갔다)"*라는 문장에서 "Bank"라는 단어를 이해하려고 한다고 가정해 봅시다.

일반적인 디코더: "I went to the river..."까지만 보고, 그 앞의 내용만을 바탕으로 "bank"가 무엇인지 추측해야 합니다. 그래서 금융 기관(bank)을 떠올릴 수도 있습니다.
시퀀스 반복: 모델에게 다음과 같이 입력합니다: "I went to the river bank. I went to the river bank. I went to the river bank."

모델이 두 번째 또는 세 번째 복사본을 처리할 때, 모델은 이미 이전 복사본에서 "river"라는 단어를 "본" 상태가 됩니다. 비록 모델은 기술적으로 여전히 앞(미래)만 볼 수 있도록 제한되어 있지만, 반복을 통해 문장 전체의 맥락을 보는 듯한 효과를 얻게 됩니다. 이는 마치 메아리를 통해 문장의 끝을 읽고 있는 동안에도 문장의 시작 부분을 들을 수 있게 되는 것과 같습니다.

연구 결과

1. 반복 횟수가 많을수록 = 더 나은 이해력
이전 연구들은 문장을 한 번만 반복해도 충분하며, 그 이상 반복하는 것은 도움이 되지 않는다고 제안했습니다. 하지만 저자들은 단어 수준의 작업에서는 정반대의 결과가 나타남을 발견했습니다.

발견: 문장을 2번, 4번, 심지어 8번 반복하는 것이 실제로 모델이 단어를 라벨링하는 데 더 똑똑하게 만들었습니다.
이유: 각 반복은 모델에게 정보를 처리할 수 있는 또 다른 "기회"를 제공합니다. 이는 어려운 단락을 세 번 읽는 것과 같습니다. 세 번째 읽을 때 당신은 그 뉘앙스를 훨씬 더 잘 이해하게 됩니다.

2. "양방향 통행" 모델을 능가함
놀랍게도, 디코더 전용 모델에 이 반복 트릭을 사용했을 때 전통적인 "양방향 통행" 모델(인코더)보다 더 뛰어난 성능을 보였으며, 심지어 규칙을 수동으로 제거한 모델보다도 더 나은 성능을 보였습니다.

결과: 텍스트를 반복하는 이 단순한 트릭이 복잡한 구조적 변경보다 더 효과적이었습니다.

3. "조기 종료(Early Exit)" 트릭 (시간과 비용 절약)
텍스트를 반복하면 입력값이 길어져서 컴퓨터 속도가 느려지고 실행 비용이 많이 듭니다.

해결책: 저자들은 모델이 좋은 답을 얻기 위해 반복된 텍스트 전체를 끝까지 다 읽을 필요는 없다는 것을 발견했습니다. 모델의 레이어 중간에서 멈추는 것("조기 종료")만으로도 높은 품질의 결과를 얻을 수 있다는 것을 찾아냈습니다.
비유: 이는 줄거리를 이해하기 위해 책을 읽는 것과 같습니다. 항상 마지막 페이지까지 읽어야 하는 것은 아닙니다. 때로는 책의 중간까지만 읽어도 핵심을 파악할 수 있으며, 이를 통해 시간도 아낄 수 있습니다.
이점: 조기 종료를 통해 전체 모델을 사용할 때와 동일한 고성능을 유지하면서도, 계산 속도를 1.4배 빠르게(경우에 따라서는 4배까지) 만들 수 있었습니다.

요약 및 시사점

이 논문은 디코더 전용 언어 모델을 단어 라벨링에 능숙하게 만들기 위해 모델을 재구축할 필요가 없다는 것을 증명합니다. 그저 입력 텍스트를 반복하기만 하면 됩니다.

단순함: 모델의 뇌(구조)를 바꾸는 코드 변경이 필요 없습니다.
효과적: 실제 양방향 통행보다 더 잘 작동하는 "가짜" 양방향 통행을 만들어냅니다.
효율적: 모델을 조기에 종료함으로써 빠르고 저렴하게 유지할 수 있습니다.

저자들은 "반복"이라는 이 단순한 방법이 복잡한 엔지니어링 없이도 현대 AI 모델을 더 다재다능하게 만드는 강력하고 실용적인 도구라고 결론지었습니다.

기술 요약: 시퀀스 반복이 디코더 전용 언어 모델의 토큰 임베딩을 강화하고 시퀀스 레이블링 성능을 향상시킨다

문제 정의
현대의 디코더 전용 대규모 언어 모델(LLM)은 인과적 마스크(causal mask)를 통해 시퀀스의 접두사(prefix)에만 의존하여 자기회귀적으로 학습된다. 이러한 단방향 구조는 개별 토큰에 레이블을 할 할당하기 위해 양방향 문맥을 본질적으로 필요로 하는 시퀀스 레이블링(SL) 작업(예: 개체명 인식, 슬롯 레이블링)과 대조를 이룬다. 역사적으로 SL은 양방향 어텐션을 기본적으로 지원하는 인코더 전용 모델(예: BERT, RoBERTa)에 의존해 왔다. 디코더 전용 모델이 우수한 스케일링 능력을 보여주었음에도 불구하고, 이를 SL에 적응시키려면 인과적 마스크(CM)를 완전히 제거하거나 선택적으로 제거하는 것과 같은 침습적인 구조적 변경이 필요하다. 이러한 수정은 베이스 모델의 기능을 변화시키며 상당한 재설계(re-engineering)를 요구한다. 또한, 시퀀스 수준의 표현을 개선하기 위해 입력 시퀀스 반복(SR)이 탐구된 바 있으나, 토큰 수준의 임베딩 및 SL 성능에 대한 효과는 아직 충분히 연구되지 않았다.

방법론
저자들은 디코더 전용 모델의 핵심 구조를 수정하지 않고도 양방향성을 가능하게 하는 비침습적 대안으로 **시퀀스 반복(Sequence Repetition, SR)**을 제안한다.

메커리즘: 입력 시퀀스 $s$ 를 $r$ 번 반복하여 길이 $k \cdot n$ 인 새로운 시퀀스 $s_k$ 를 생성한다 (여기서 $k = r+1$ ). 인과적 마스크 덕분에, 이후의 반복에 있는 토큰들은 이전 반복의 모든 토큰에 어텐션을 수행할 수 있다. 어텐션 가중치 행렬에 대한 이론적 분석에 따르면, $k$ 가 증가함에 따라 완전한 양방향 어텐션 블록의 비율이 1에 가까워지며, 결과적으로 모델이 전체 문맥을 가지고 토큰을 처리할 수 있게 한다.
실험 설정: 본 연구는 7개의 디코더 전용 모델(Gemma-7B, Gemma2-2B/9B, Qwen3-1.7B/4B/8B, Mistral-7B)과 4개의 SL 데이터셋(CoNLL03, SemEval-2014 Rest14, NLU++, ACE05)을 대상으로 SR을 평가한다.
베이스라인: 성능은 다음 모델들과 비교된다:
1. 마스크된 디코더(Masked Decoder): 반복이 없는( $r=0$ ) 표준 파인튜닝.
2. 전체 언마스킹(Full Unmasking): 인과적 마스크를 완전히 제거함.
3. 미들 언마스킹(Middle Unmasking): 중간 $N/3$ 개 레이어에서만 인과적 마스크를 제거함 (매개변수 효율적 적응 전략).
4. 인코더 전용 모델: RoBERTa 및 ModernBERT.
효율성 전략: 증가된 시퀀스 길이에 따른 계산 비용을 완화하기 위해, 저자들은 최종 레이어가 아닌 중간 레이어에서 임베딩을 추출하는 조기 종료(Early Exiting) 기법을 사용한다 (임베딩 추출 레이어 $L \in \{9, 14, 19, 24\}$ ).

핵심 기여

토큰 수준 작업에 대한 SR의 효과성: 본 논문은 SR이 디코더 전용 모델에서 양방향성을 본질적으로 가능하게 하는 단순하고 실용적인 전략임을 입증한다. SR은 여러 SL 벤치마크에서 강력한 인코더 전용 모델 및 언마스킹된 디코더보다 뛰어난 토큰 수준 임베딩을 생성한다.
다중 반복의 이점: 추가적인 반복이 수렴하거나 성능 저하를 일으킨다는 기존의 시퀀스 수준 작업 연구 결과와 달리, 본 연구는 반복 횟수( $r > 1$ )를 늘리는 것이 SL 성능을 일관되게 향상시킨다는 것을 발견했다. 저자들은 추가적인 반복이 각 토큰에 대한 모델의 유효 처리 용량을 높인다고 가설을 세웠다.
조기 종료를 통한 효율성: 중간 레이어(특히 32개 레이어 모델의 경우 19번 및 24번 레이어)에서 임베딩을 추출하는 방식이 SR과 결합되었을 때, 최종 레이어 임베딩과 대등한 성능을 달성하면서도 계산 오버헤드를 크게 줄임(최대 $1.39\times$ 더 효율적)을 보여준다.

결과

성능 향상: SR 모델은 일관되게 가장 높은 Micro F1 점수를 달est한다. 예를 들어, SR( $r=4$ )을 적용한 Mistral-7B는 평균 83.79%를 기록하여 미들 언마스킹(83.35%)과 전체 언마스킹(83.34%)을 능가했다. 또한 SR은 인코더 전용 베이스라인(RoBERTa: 78.53%, ModernBERT: 76.08%)보다 높은 성능을 보였다.
반복 횟수: 성능은 일반적으로 $r$ 이 0에서 4 또는 8로 증가함에 따라 향상된다. 작은 모델(예: Gemma2-2B)은 $r=2$ 또는 $r=4$ 이후 성능 포화 또는 약간의 하락을 보였으나, 큰 모델(예: Mistral-7B, Qwen3-8B)은 더 높은 반복 횟수에서도 지속적으로 이득을 얻었다.
안정성: SR은 평균 성능을 향상시켰을 뿐만 아니라, 언마스킹 전략에 비해 결과의 분산(표준 편차)을 감소시켰다.
조기 종료: 레이어 $L=14$ 이상의 임베딩은 여러 사례에서 최종 레이어( $L=32$ )의 성능과 일치하거나 이를 능가하였으며, 이는 품질 저하 없이 효율성을 위해 중간 레이어를 사용할 수 있음을 검증한다.
모델 크기: SR으로 학습된 작은 디코더 모델(예: 조기 종료를 적용한 Qwen3-0.34B)조차 0.35B 파라미터의 RoBERTa와 대등하거나 더 나은 성능을 보였으며, 이는 SR이 작은 디코더가 특화된 인코더와 경쟁할 수 있게 함을 시사한다.

의의 및 주장
본 논문은 시퀀스 반복(SR)이 디코더 전용 모델의 구조적 한계를 완화하여, 구조적 수정 없이도 본질적으로 양방향성이 필요한 토큰 수준 작업에서 효과적으로 수행될 수 있게 한다고 주장한다. 저자들은 SR을 인과적 마스크 제거의 더 효율적이고 적응 가능한 대안으로 제시하며, 인코더가 지배해 온 작업들로 디코더 전용 LM의 적용 범위를 넓힌다. 연구 결과는 중간 레이어가 다운스트림 작업에 매우 중요하며, 반복 횟수를 늘리는 것이 성능 저하가 아닌 처리 용량을 강화할 수 있다는 점을 강조하며, 이는 LM에서의 반복에 대한 기존의 가정을 뒤집는 것이다. 본 연구는 특히 조기 종료 전략과 결러했을 때 SR이 유리한 품질-효율성 트레이드오프를 제공함을 시사한다.