💬 NLP

Attention Expansion: Enhancing Keyphrase Extraction from Long Documents with Attention-Augmented Contextualized Embeddings

이 논문은 전체 문서에 대한 어텐션 연산이나 거대 언어 모델의 계산 비용 없이도, 주변의 문맥 외 청크(out-of-context chunks)로부터 정보를 활용하여 사전 학습된 언어 모델의 토큰 표현을 증강함으로써 긴 문서에서의 핵심구 추출 성능을 효과적으로 향상시키는 어텐션 확장 메커니즘을 제안한다.

원저자: Roberto Martínez-Cruz, Alvaro J. López-López, José Portela

게시일 2026-06-10

📖 3 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Roberto Martínez-Cruz, Alvaro J. López-López, José Portela

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

큰 문제: AI의 "터널 시야" 현상

당신이 거대한 100페이지짜리 미스터리 소설을 이해하려고 노력하고 있다고 상상해 보세요. 당신은 이 이야기가 무엇에 관한 것인지 알려주는 가장 중요한 단서들(핵심 구절)을 뽑아내고 싶습니다.

현재의 AI 모델들(검색 엔진이나 챗봇을 구동하는 모델들)은 매우 똑똑하지만, "터널 시야"라는 문제를 가지고 있습니다. 이들은 한 번에 아주 적은 양의 텍스트(예를 들어 512단어)만 읽을 수 있고, 그 후에는 멈춰서 초기화해야 합니다. 만약 소설이 10,000단어라면, AI는 첫 512단어를 읽고, 그것을 잊어버리고, 다음 512단어를 읽는 식의 과정을 반복합니다.

문제점: 중요한 단서들은 종종 여기저기 흩어져 있습니다. 어떤 캐릭터는 1페이지에서 소개되지만, 그 캐릭터의 진정한 중요성은 50페이지에 가서야 드러날 수도 있습니다. 만약 AI가 1페이지를 고립된 상태로 읽는다면, 50페이지와의 연결 고리를 놓치게 됩니다. 이는 마치 퍼즐 조각을 하나씩만 보면서 전체 그림을 맞추려 하는 것과 같으며, 조각들이 어떻게 서로 맞물리는지는 결코 보지 못하는 것과 같습니다.

기존의 해결책들 (그리고 왜 너무 비싼가?)

이를 해결하기 위해 과학자들은 크게 두 가지 방법을 시도했습니다.

AI의 "눈"을 크게 만들기: 모델이 책 전체를 한꺼번에 읽을 수 있도록 만드는 것입니다. 이것은 효과적이지만, 자전거에 거대한 망원경을 끼워 넣으려는 것과 같습니다. 엄청난 양의 컴퓨터 연산 능력과 메모리가 필요하며, 이로 인해 일상적인 용도로 쓰기에는 너무 느리고 비용이 많이 듭니다.
"슈퍼 AI"(LLM) 사용하기: 긴 텍스트를 읽을 수 있는 거대하고 범용적인 모델을 사용하는 것입니다. 하지만 이는 견과류를 깨기 위해 대형 해머를 사용하는 것과 같습니다. 단순히 문서의 주요 주제를 나열하는 것과 같은 간단한 작업에는 너무 느리고 비용이 많이 듭니다.

새로운 해결책: "어텐션 확장 (Attention Expansion)"

이 논문의 저자들은 영리한 절충안을 제안합니다. 그들은 이를 **어텐션 확장(Attention Expansion)**이라고 부릅니다.

AI를 커다란 저택의 특정 방을 읽고 있는 탐정이라고 생각해 보세요 (현재 읽고 있는 텍스트 덩어리).

표준적인 방식: 탐정은 오직 그 방 안에 있는 가구들만 봅니다.
어텐션 확장 방식: 탐정은 여전히 현재의 방에 집중하지만, 현재 방의 앞뒤에 있는 방들에 대한 **빠르고 저해상도인 스케치(밑그림)**도 함께 가지고 있습니다.

그들은 저택 전체를 다시 읽지 않습니다 (그것은 느리기 때문입니다). 대신, 주변 텍스트에 대한 가볍고 미리 만들어진 요약본("사전 학습된 단어 임베딩", Pre-trained Word Embeddings)을 사용합니다. 그런 다음, 특수한 "돋보기"(교차 어텐션 레이어, cross-attention layer)를 사용하여 현재의 방을 읽는 동안 그 스케치들을 슬쩍 훑어봅니다.

결과: 이제 탐정은 "아, 지금 이 방에 있는 의자가 이해가 가네. 왜냐하면 이전 방의 스케치에서 똑같이 생긴 카펫을 봤거든"이라고 말할 수 있습니다. AI는 책 전체를 다시 읽는 비용을 들이지 않고도 전체적인 그림을 보는 이점을 얻게 됩니다.

어떻게 테스트했는가

연구진은 이 아이디어를 다섯 가지 유형의 AI "두뇌"(모델)에 대해 테스트했습니다. 모델은 범용 모델부터 과학 논문에 특화된 모델까지 다양했습니다. 그들은 다음을 대상으로 테스트했습니다:

긴 과학 논문: 핵심 아이디어가 텍스트 깊숙이 숨겨져 있는 경우가 많습니다.
뉴스 기사: 문맥이 빠르게 변하는 경우입니다.
짧은 초록(Abstract): 텍스트가 이미 짧은 상황에서도 이 새로운 방식이 문제를 일으키지 않는지 확인하기 위함입니다.

무엇을 발견했는가

어디서나 작동함: 거의 모든 테스트(50개 시나리오 중 48개)에서, 이 "이웃을 힐끗 보는" 방식을 추가했을 때 AI가 올바른 핵심 구절을 찾는 능력이 향상되었습니다.
똑똑한 모델에도 도움이 됨: 긴 텍스트를 읽도록 설계된 기존 모델(ModernBERT와 같은)조차도 이 기술을 통해 더 좋아졌습니다. 이는 이 방법이 단순히 고장 난 모델을 고치는 것이 아니라, 모델이 이전에 가지고 있지 않았던 추가적인 유용한 정보를 더해준다는 것을 증명합니다.
빠르고 저렴함: 주변 텍스트의 "스케치"는 매우 가볍습니다. 이 기능을 추가해도 컴퓨터의 작업량은 약 3.6% 정도만 증가했습니다. 성능의 큰 도약을 위해 지불하기에는 매우 적은 대가입니다.
모든 것에 마법처럼 통하는 것은 아님: 과학과 뉴스 사이를 전환할 때처럼 문서의 종류가 매우 다를 때는 효과가 나타나지 않는 경우도 있었지만, 전반적으로는 강력한 개선을 보여주었습니다.

핵심 요약

이 논문은 AI 모델이 느려지거나 비싸지지 않으면서도 "장거리 기억력"을 가질 수 있는 방법을 소개합니다. AI가 현재 읽고 있는 텍스트 주변의 가벼운 요약본을 엿볼 수 있게 함으로써, AI는 긴 문서를 훨씬 더 잘 이해할 수 있게 됩니다. 이는 기존의 AI 도구들을 더 똑똑하게 만들어 텍스트의 가장 중요한 부분을 찾을 수 있게 하는 단순하고 효율적인 업그레이드입니다.

기술 요약: 긴 문서 키프레이즈 추출을 위한 어텐션 확장(Attention Expansion)

문제 정의
키프레이즈 추출(KPE)은 문서 이해를 위한 핵심적인 작업이지만, 긴 문서에 적용할 때 상당한 어려움에 직면합니다. 사전 학습된 언어 모델(PLM)은 풍부한 문맥화된 표현을 생성하는 능력 덕분에 KPE에서 강력한 성능을 보여왔으나, 제한된 컨텍스트 창(통상 512 토큰)으로 인해 제약을 받습니다. 긴 문서의 경우, 키프레이즈에 대한 중요한 증거가 서로 멀리 떨어진 섹션에 흩어져 있는 경우가 많습니다. 표준적인 접근 방식은 문서를 중복되지 않는 윈도우 단위로 나누고 이를 독립적으로 처리하는데, 이는 여러 윈도우에 걸쳐 있는 의존성을 포착하는 것을 방지합니다.

롱 컨텍스트 대규모 언어 모델(LLM)이나 확장된 컨텍스트 인코더(예: Longformer, ModernBERT)는 더 넓은 컨텍스트를 처리할 수 있지만, 높은 계산 비용과 메모리 사용량을 초래하여 고처리량(high-throughput) KPE 파이프라인에는 실용성이 떨어집니다. 반대로, 소형 특화 모델을 범용 LLM으로 교체하는 것은 종종 비효전적입니다. 본 연구가 다루는 핵심 문제는 어떻게 하면 전체 롱 컨텍스트 어텐션이나 LLM 기반 추론 비용을 들이지 않고도, 특화된 KPE 모델이 긴 문서의 증거에 접근할 수 있도록 하느냐는 것입니다.

방법론: 어텐션 확장(Attention Expansion)
저자들은 주변의 "문맥 외(out-of-context)" 문서 청크로부터 정보를 가져와 표준 PLM 토큰 표현을 보강하는 어텐션 확장(Attention Expansion) 메커니즘을 제안합니다. 이 접근 방식은 다음과 같이 작동합니다:

슬라이딩 윈도우 인코딩: 입력 문서는 길이 $L$ (예: 512 토큰)의 청크( $c_i$ )로 분할됩니다. 각 청크는 PLM에 의해 독립적으로 처리되어 문맥화된 토큰 표현( $H_i$ )을 생성합니다.
문맥 외 표현: 주변 청크들( $c_{i-w/2}, \dots, c_{i-1}, c_{i+1}, \dots, c_{i+w/2}$ )은 경량화된 사전 학습된 워드 임베딩(PWE) 모델(구체적으로 Model2Vec)을 사용하여 인코딩됩니다. 이는 트랜스포머의 두 번째 순전파(forward pass)를 요구하지 않고도 주변 텍스트에 대한 정적 벡터 표현( $S_i$ )을 생성합니다.
교차 어텐션 통합: 교차 어텐션 레이어를 통해 현재 청크의 토큰( $H_i$ )이 주변 청크의 PWE 표현( $S_i$ )을 쿼리할 수 있습니다. 이 메커니즘은 단일 교차 어텐션 헤드를 사용하며, 쿼리는 $H_i$ 에서 유도되고 키(key)와 값(value)은 $S_i$ 에서 유도됩니다. 주목할 점은 파라미터 수를 줄이기 위해 키와 값의 투영(projection)이 결합(tied)되었다는 것입니다.
풍부해진 분류: 교차 어텐션의 출력은 원래의 PLM 은닉 상태와 결합됩니다. 이렇게 풍부해진 표현은 BIO(Begin, Inside, Outside) 시퀀스 태깅을 위한 선형 분류 헤드로 전달됩니다.
멀티 헤드 변형: 멀티 헤드 변형(MH-AE)은 은닉 상태와 PWE 표현을 슬라이스로 나누고, 각 슬라이스에 독립적인 교차 어텐션 블록을 적용한 후 결합합니다.

이 설계는 PLM이 처리하는 시퀀스 길이를 늘리지 않으면서도 효과적인 컨텍스트를 확장합니다(예: 512 토큰 백본에 대해 네이티브 윈도우 크기의 최대 5배까지 접근 가능).

주요 기여

새로운 메커니즘: 교차 어텐션을 통해 인컨텍스트(in-context) PLM 임베딩과 문맥 외(out-of-context) 어휘 표현을 연결하는 어텐션 확장 메커니즘을 도입하여, 전체 롱 컨텍스트 어텐션이나 LLM 추론을 피했습니다.
효율성: 이 방법은 파라미터가 가볍고 계산 효율적입니다. 파라미터 증가량은 정적 임베딩 차원에 의해 제한되며, 토큰당 추가되는 계산량은 선형적입니다. 이는 약 3.6%의 평균 순전파 시간 증가라는 미미한 오버헤드만 발생시키면서 컨텍스트 접근성을 크게 확장합니다.
상보성: 이 메커니즘은 단순히 제한된 입력 길이를 보완하는 것을 넘어 상보적인 정보를 제공합니다. 이는 일반 목적 모델뿐만 아니라 도메인 특화(SciBERT, KBIR) 및 네이티브 롱 컨텍스트(ModernBERT) 인코더 모두에서 성능을 향상시킵니다.

실험 결과
이 접근 방식은 5개의 인코더 백본(DistilBERT, SciBERT, KBIR, DeBERTa-v3, ModernBERT), 2개의 학습 체계(SemEval-2010 및 LDKP3K), 그리고 5개의 벤치마크 코퍼스(Inspec, DUC-2001, SemEval-2010, LDKP3K, NUS)를 통해 평가되었습니다.

긴 문서: 어텐션 확장은 모든 평가 설정에서 일관되게 KPE 성능을 향상시켰습니다. 50개의 백본-데이터셋-학습 비교 중 48개에서 어텐션 확장 버전이 베이스라인보다 우수한 성능을 보였습니다.
- 일반 및 특화 모델: 일반 목적 모델과 과학적 도메인(SciBERT) 또는 키프레이즈 작업(KBIR)에 특화된 모델 모두에서 성능 향상이 관찰되었습니다.
- 롱 컨텍스트 모델: 8,192 토큰을 네이티브로 지원하는 ModernBERT조차도 성능 향상을 보였으며, 이는 이 메커니즘이 단순히 윈도우를 확장하는 것 이상의 가치를 더한다는 것을 나타냅니다.
- 교차 도메인: 과학적 학습 데이터에서 뉴스 도메인(DUC-2001)으로 전이될 때 주로 개선이 관찰되었으나, 모든 백본에서 결과가 균일하지는 않았습니다.
짧은 문서: 네이티브 한계 내에 들어오는 초록을 포함하는 Inspec 데이터셋의 경우, 메커니즘이 성능을 저하시키지 않았으며, 일부 사례(예: ModernBERT)에서는 유의미한 이득을 보였습니다. 이는 문맥 외 증거가 없는 상황에서도 이 구성 요소가 파인튜닝 역학에 유익하게 영향을 미친다는 것을 시사합니다.
비용: 멀티 헤드 변형(MH-AE)은 일반적으로 단일 헤드 변형(AE)과 비슷하거나 약간 더 나은 성능을 보였으며, 추가 파라미터 오버헤드는 무시할 만한 수준이었습니다(AE의 경우 약 0.21%, MH-AE의 경우 약 0.05% 증가).

의의 및 주장
본 논문은 어텐션 확장이 긴 문서 KPE를 위한 효율적이고 효과적인 전략을 구축한다고 주장합니다. 이는 특화된 모델이 전체 롱 컨텍스트 어텐션이나 LLM 기반 추론의 막대한 비용 없이도 분산된 문서 증거를 통해 강화될 수 있음을 입증합니다. 저자들은 이를 대규모 인덱싱, 검색 증강 생성(RAG)과 같이 효율성이 중요한 고처리량 파이프라인을 위한 실용적인 솔루션으로 제시합니다.

결과는 이 메커니즘이 단순히 짧은 컨텍스트 윈도우를 패치하는 것이 아니라, 토큰 표현을 풍부하게 하는 상보적인 정보를 제공한다는 점을 시사합니다. 이 연구는 빠르고 효율적인 태스크 특화 구성 요소가 더 큰 범용 추론기에 의해 대체되는 것이 아니라, 이를 보완해야 한다는 주장을 뒷받침합니다. 저자들은 적응형 컨텍스트 선택 및 더 풍부한 정적 표현에 대한 탐구가 향리 과제로 필요함을 언급하며, 개선된 교차 도메인 전이가 자동적으로 이루어지는 것은 아니며 백본과 타겟 분포 간의 상호작용에 달려 있다고 조심스럽게 덧붙였습니다.