MUESCA: A Multi-Genre Corpus and Annotation Scheme for Subjectivity in Spanish

인간 언어의 광활한 풍경 속에는 단순히 사실인 것과 사실이라고 느껴지는 것 사이의 끊임없는 긴장이 존재한다. 수십 년 동안 자연어 처리 분야에서 활동해 온 과학자들은 컴퓨터에게 사실의 진술과 개인적 의견의 표현을 구분하는 법을 가르치기 위해 노력해 왔다. 주관성 탐지(subjectivity detection)라고 알려진 이 과업은 뉴스 기사를 분류하는 것부터 대중의 정서를 이해하는 것에 이르기까지 모든 분야에 매우 중요하다. 그러나 전통적인 접근 방식은 문장을 객관적이거나 주관적인 것으로 나누는 이분법적 스위치처럼 취급하여 너무 단순한 경우가 많았다. 실제로 인간의 의사소통은 이토록 흑백이 명확하지 않다. 뉴스 보고서는 사실을 기술하면서도 저널리스트의 관점으로 이를 미묘하게 프레이밍할 수 있으며, 과학 논문은 엄연한 데이터를 제시하면서도 미래의 가능성을 설명하기 위해 조심스러운 언어를 사용할 수 있다. 과제는 표면적으로는 중립적으로 보이는 단어들 속에 숨겨진 '저자의 지문'을 포착하는 데 있다.

스페인 알리칸테 대학교의 연구진은 MUESCA라는 새로운 자원을 구축함으로써 이 퍼즐을 해결하는 데 중요한 발걸음을 내디뎠다. 이들은 텍스트를 경직된 상자에 강제로 밀어 넣는 대신, 주관성을 하나의 슬라이딩 스케일, 즉 연속체로 다루는 데이터셋을 만들었다. 이를 위해 연구진은 세 가지 매우 다른 유형의 글쓰기를 수집하고 분석했다. 가장 객관적인 스펙트럼을 대표하는 과학 초록, 가장 주관적인 스펙트럼을 대표하는 소비자 리뷰, 그리고 혼합된 형태의 중간 지점에 위치한 뉴스 기사이다. 연구진은 이 서로 다른 장르의 저자들이 확신을 나타내는 단어, 의구심을 나타내는 구절, 또는 개인적 참여를 드러내는 대명사와 같은 구체적인 언어적 도구들을 어떻게 사용하는지 조사함으로써, 저자의 '목소리'가 이러한 스타일들을 가로질러 어떻게 변화하는지를 정밀하게 지도화했다. 그들의 연구는 텍-스트 내에 존재하는 보이지 않는 인간 저자의 존재를 측정하는 새로운 방법을 제공하며, 컴퓨터가 인간 표현의 복잡한 세계를 항해할 수 있는 더 미묘한 지도를 제시한다.

이 프로젝트의 핵심은 135개의 문서를 통해 추출된 1,865개의 문장 모음인 MUESCA 코퍼스이다. 연구진은 단순히 이 문장들을 수집한 것이 아니라, 저자가 자신이 말하는 바에 얼마나 전념하고 있는지를 나타내는 특정 문법 및 어휘적 특징들을 세밀하게 주석(annotation) 달았다. 그들은 이러한 신호들을 두 가지 주요 그룹으로 나누었다. '높은 저자 몰입(high author commitment)'에는 미래 시제를 사용하거나 무언가를 사실로 단정 짓는 것과 같은 확신의 표식과, '나' 또는 '우리'를 사용하는 것과 같은 참여의 표식이 포함된다. '낮은 저자 몰입(low author commitment)'에는 접속법을 사용하거나 '아마도'와 같은 단어를 사용하는 것과 같은 의구 doubt의 표식, 그리고 누가 행동을 했는지 숨기기 위해 수동태를 사용하는 것과 같은 거리두기의 표식이 포함된다. 이러한 특징들을 계산함으로써 연구진은 과학 초록이 어떻게 특정 데이터와 비인칭 구조에 의존하는지, 반면 리뷰는 어떻게 개인적 의견과 직접적인 참여로 가득 차 있는지를 확인할 수 있었다. 예상대로 뉴스 기사는 두 가지가 혼합된 양상을 보이며 하이브리드 장르로서의 지위를 확인시켜 주었다.

연구진은 자신들의 언어적 표식들이 실제로 컴퓨터가 서로 다른 유형의 글을 구별하는 데 도움이 되는지 테스트하여 그 결과의 견고함을 확보했다. 그들은 머신러닝 모델을 훈련시켜 텍스트를 객관적, 하이브리드, 또는 주관적 범주로 분류하게 했다. 모델에 가공되지 않은 텍스트만 주어졌을 때도 모델은 상당히 잘 수행했지만, 연구진이 자신들의 주석 체계에서 추출한 특정 화용론적 표식(pragmatic markers)을 추가했을 때 모델은 해당 과업을 훨씬 더 잘 수행하게 되었다. 가장 효과적인 특징의 조합은 구체성의 수준과 확신의 정도를 측정하는 것이었다. 이 접근 방식은 컴퓨터가 텍스트가 무엇에 관한 것인지뿐만 아니라, 저자가 그 정보를 어떻게 제시하고 있는지까지 이해할 수 있게 해주었다. 결과는 특히 뉴스 장르에서 강력했는데, 뉴스는 사실과 해석이 혼재되어 있어 분류하기 가장 어려운 장르이기 때문이다. 이러한 화용론적 표식을 사용함으로써, 모델은 기자들이 이야기를 구성하는 미묘한 방식을 포착하는 능력을 향상시켰다.

연구진은 또한 이러한 인간 설계 규칙이 현대 인공지능과 어떻게 함께 작동할 수 있는지 탐구했다. 그들은 자신들의 특정 표식들을 방대한 양의 스페인어 텍스트로 훈련된 강력한 언어 모델인 BETO와 결합했다. 이 고급 모델은 이미 언어를 이해하는 데 매우 뛰어났음에도 불구하고, 특정한 주관성 표식을 추가하는 것이 여전히 성능을 향상시켰다. 향상 폭은 백분율 측면에서는 작았지만 통계적으로 유의미했으며, 이는 저자의 몰입에 관한 명시적인 규칙이 순수 통계적 패턴이 놓친 모호함을 컴퓨터가 해결하는 데 도움을 준다는 것을 시사했다. 이는 뉴스 기사에서 특히 두드러졌는데, 모델이 의구심이나 확신의 구체적인 언어적 신호를 볼 수 있을 때 정확도가 높아졌다. 이 연구는 거대 AI 모델이 강력하긴 하지만, 인간이 자신의 논거를 구성하고 신념을 표현하는 방식에 대한 구조적 이해를 여전히 필요로 한다는 점을 확인시켜 준다.

연구 중 가장 흥eros로운 측면 중 하나는 뉴스가 다른 두 극단과 맞붙었을 때 어떻게 행동하는가 하는 점이었다. 연구진이 모델에게 뉴스와 과학 초록을 구별하도록 요청했을 때, 모델은 이 둘을 구별하는 것이 비교적 쉽다는 것을 발견했다. 그러나 뉴스와 소비자 리뷰를 구별하도록 요청했을 때는 과업이 더 어려웠다. 이는 저널리즘의 언어가 중립성이라는 명성에도 불구하고, 개인적 의견 글과는 과학의 초연한 언어보다는 더 많은 화용론적 DNA를 공유하고 있음을 시사한다. 뉴스 기사는 주관적인 프레이밍과 평가적 언어를 충분히 포함하고 있어, 주관적인 극단과의 경계를 흐릿하게 만들어 구별을 어렵게 만든다. 이 발견은 주관성이 텍스트 유형의 고정된 속성이 아니라, 저자가 정보를 제시하는 방식에 따라 변할 수 있는 유동적인 성질임을 뒷받침한다.

MUESCA 프로젝트는 주관성 탐지의 문제를 완전히 해결했다고 주장하는 것이 아니라, 향후 연구를 위한 견고한 토대를 제공하는 것이다. 연구진은 자신들의 데이터셋과 주석 가이드라인을 다른 이들에게 공개하여 과학계가 이 연구를 바탕으로 발전시킬 수 있도록 했다. 그들은 이 방법론이 더 비격식적이거나 양극화된 환경에서도 유효한지 확인하기 위해 소셜 미디어 게시물이나 기술 보고서와 같은 더 많은 장르로 코퍼스를 확장할 계획이다. 또한 그들은 정보가 제시되는 방식—즉, 확신이나 의구심을 통해서—이 사실 자체보다 기만을 탐지하는 데 더 유용할 수 있다는 점에서, 기만 탐지 분야에서의 잠재적 응용 가능성도 보고 있다. 정보의 내용보다는 정보의 화용론적 전달 방식에 초점을 맞춤으로써, 이 접근 방식은 인간이 현실을 형성하기 위해 언어를 어떻게 사용하는지 이해하는 새로운 렌즈를 제공한다. 이 연구는 주관성이라는 복잡한 과업을 측정 가능한 언어적 구성 요소로 분해함으로써, 우리가 더 정확할 뿐만 아니라 결론에 도달하는 과정에 대해서도 더 투명한 도구를 구축할 수 있음을 보여준다.