Transformer Models for Text Summarization: A Comparative Study of BART, BERT, and RoBERTa

정보가 우리가 읽는 속도보다 더 빠르게 도착하는 세상에서, 긴 문서를 핵심적인 내용으로 정제하는 능력은 필수적인 기술이 되었습니다. 이것이 바로 자동 텍text 요약의 영역이며, 이는 컴퓨터에게 인간의 언어를 읽고, 이해하고, 압축하도록 가르치는 데 전념하는 컴퓨터 과학의 한 분야입니다. 수십 년 동안 연구자들은 컴퓨터에게 텍스트에서 가장 중요한 문장을 골라내도록 가르치거나, 혹은 내용을 완전히 새로운 단어로 다시 쓰도록 가르치는 방식으로 이 문제를 해결하려 노력해 왔습니다. 첫 번째 방법은 흔히 '추출적(extractive)'이라고 불리는데, 이는 책에서 가장 좋은 구절에 형광펜을 칠하는 것과 같습니다. 두 번째로 알려진 '생성적(abstractive)' 방식은 기자가 다른 독자를 위해 이야기를 다시 쓰는 것과 더 비슷합니다. 최근에는 트랜스포머라고 불리는 구조를 기반으로 구축된 새로운 세대의 컴퓨터 프로그램들이 이 분야를 장악했습니다. 이 프로그램들은 방대한 양의 텍스트를 통해 학습되어 언어가 어떻게 작동하는지 익히며, 이를 통해 놀라운 속도와 정확도로 이러한 요약 작업들을 수행할 수 있습니다.

펜실베이니아 주립 대학교의 연구팀은 최근 이 새로운 세대에서 가장 인기 있는 세 가지 프로그램인 BERT, RoBERTa, BART를 비교하는 연구를 진행했습니다. 세 모델 모두 동일한 기초 기술을 바탕으로 구축되었지만, 서로 다른 내부 구조와 학습 방법을 갖추고 있어 각기 다른 종류의 작업에 적합하도록 설계되었습니다. 연구진은 이러한 차이점이 뉴스 기사를 요약하는 능력에 정확히 어떤 영향을 미치는지 알고 싶었습니다. 그들은 새로운 모델을 발명한 것이 아니라, 기존의 이 세 모델을 엄격한 테스트에 통과시켜 특정 조건 하에서 어떤 모델이 가장 우수한 성능을 보이는지 확인했습니다. 이를 위해 그들은 실제 뉴스 이야기들과 그에 수반되는 인간이 작성한 요약문 모음을 사용했는데, 이는 이와 같은 연구를 위한 표준적인 자료 세트입니다. 제한된 컴퓨팅 자원으로 작업했기 때문에, 그들은 전체의 거대한 데이터셋을 모두 사용할 수 없었으며, 대신 15,000개의 이야지는 학습용으로, 100개는 테스트용으로 포함하는 작고 관리 가능한 규모의 부분을 선택했습니다.

실험 결과, 이 모델들이 과업에 접근하는 방식에서 명확한 차이가 드러났습니다. 첫 두 모델인 BERT와 RoBERTa는 텍스트를 이해하도록 설계되었지만 새로운 문장을 생성하지는 못합니다. 본 연구에서 이들은 추출적 요약을 수행하는 데 사용되었으며, 즉 원문 기사에서 가장 중요한 문장을 직접 식별하고 선택해야 했습니다. 세 번째 모델인 BART는 다르게 구축되었습니다. BART는 처음부터 새로운 텍스트를 생성할 수 있는 구조를 가지고 있어 생성적 요약 도구 역할을 합니다. 연구진이 테스트를 실행했을 때, 생성형으로 설계된 모델인 BART가 다른 두 모델보다 인간이 작성한 참조 문구에 훨씬 더 가깝게 요약문을 생성한다는 결과가 나왔습니다. 이 분야의 언어로 표현하자면, 컴퓨터의 출력물과 인간의 출력물 사이에 얼마나 많은 단어와 구절이 겹치는지를 측정하는 척도에서 BART가 훨씬 높은 점수를 기록했습니다. BART는 주요 척도에서 약 0.41의 점수를 얻은 반면, 추출형 모델 중 가장 뛰어났던 RoBERTa는 약 0.18에 불로 그쳤습니다.

또한 이 연구는 두 추출형 모델 간의 차이점도 강조했습니다. RoBERTa는 원래의 BERT를 개선하고 더 견고하게 만든 버전으로, 동일한 학습 시간과 데이터를 제공받았을 때 BERT보다 일관되게 더 나은 성능을 보였습니다. 이는 모델이 처음에 언어를 배우는 방식이 해당 과업에 어떻게 적용되는지만큼이나 중요하다는 것을 시사합니다. 그러나 추출형 모델과 생성형 모델 사이의 격차는 훨씬 더 컸습니다. 연구진은 BART가 더 매끄럽게 흐르고 의미를 더 자연스럽게 포착하는 요약문을 생성했지만, 이 모델은 뉴스 데이터셋에 대해 구체적으로 학습되지 않은 상태에서 평가되었다는 점에 주목했습니다. 추출형 모델들에게 이러한 과업을 위한 미세 조정(fine-tuning)이라는 이점이 주어졌음에도 불구하고, 생성형 접근 방식이 결과에서 우위를 점했습니다.

생성형 모델의 높은 성능에도 불구하고, 연구진은 중요한 절충점(trade-offs)을 지적했습니다. 새로운 문장을 만드는 모델인 BART는 유창하고 읽기 쉬운 텍스트를 생성하는 데 탁월하지만, 이야기가 더 잘 흐르게 만들기 위해 세부 사항을 지어내거나 사실을 약간 바꾸는 '환각(hallucination)'의 위험을 안고 있습니다. 반면, 원문의 문장을 단순히 복사하는 추출형 모델들은 아무것도 지어내지 않기 때문에 사실 관계가 확실히 보장되지만, 요약문이 때때로 툭툭 끊기거나 부자연스럽게 느껴질 수 있습니다. 연구는 또한 실험 결과가 장비의 제약에 의해 형성되었다는 점을 인정했습니다. 연구진은 특수 고속 칩이 아닌 일반 컴퓨터 프로세서에서 실험을 진행했기에 처리할 수 있는 데이터의 양에 한계가 있었습니다.

결국, 이 연구는 모델의 구조가 그 강점을 결정한다는 것을 확인해 줍니다. 만약 핵심 문장을 뽑아내어 빠르고 사실적으로 안전한 요약을 얻는 것이 목표라면, RoBERTa와 같은 추출형 모델이 강력한 선택지가 됩니다. 하지만 문서의 매끄럽고 인간다운 재작성을 목표로 한다면, 생성형 모델인 BART가 훨씬 더 우수합니다. 연구진은 이러한 도구들이 강력하지만, 그 선택은 엄격한 사실적 충실도를 중시할 것인지 아니면 자연스러운 언어의 유창함을 중시할 것인지에 달려 있다고 결론지었습니다. 이 분야가 앞으로 나아감에 따라, 다음 단계는 법률이나 의학처럼 유창함과 절대적인 정확성 사이의 균형이 더욱 결정적인 역할을 하는 전문적인 주제들에 대해 이 모델들을 테스트하는 것이 될 것입니다.