Knowing the Scale, Missing the Negation: Language Models and Corrective Negation by Excess in English, Spanish, and French

언어 모델은 오늘날 우리가 사용하는 많은 디지털 도구의 엔진 역할을 하며, 텍스트를 생성하고, 언어를 번역하며, 놀라운 유창함으로 질문에 답할 수 있습니다. 이러한 시스템이 어떻게 작동하는지 이해하기 위해, 연구자들은 종로종종 강도를 나타내는 형용사와 같은 인간 의사소통의 구성 요소를 이들이 어떻게 다루는지 살펴봅니다. "따뜻한(warm)", "뜨거운(hot)", "끓는(boiling)"과 같은 단어들은 증가하는 열의 척도상에 존재하며, 인간은 자연스럽게 무언가가 끓는 상태라면 최소한 따뜻한 상태이기도 하다는 것을 이해합니다. 이러한 논리적 연결을 함의(entailment)라고 합니다. 그러나 인간의 언어에는 약한 단어를 부정함으로써 그 반대가 사실이라고 말하려는 것이 아니라, 더 강한 단어가 적절하다고 말하기 위해 부정하는 비틀림이 가득합니다. 누군가 수프가 "따뜻하지 않고 끓는다(not warm but boiling)"라고 말할 때, 그들은 수프에 열기가 없다는 것을 부정하는 것이 아니라, "따뜻하다"라는 표현이 과소평가임을 거부하는 것입니다. 약한 묘사를 강한 묘사로 교체하는 이 특정한 유형의 수정은, 기계가 단어 사이의 관계를 진정으로 이해하고 있는지 아니면 단순히 패턴을 매칭하고 있는지를 판별하는 미묘한 시험입니다.

한 연구팀은 현대 언어 모델이 이러한 까다로운 언어적 지형을 헤쳐 나갈 수 있는지 알아보기 위해 연구를 시작했습니다. 그들은 약한 형용사를 부정하여 더 강한 형용사를 긍정하는 현상인 '과잉에 의한 교정적 부정(corrective negation by excess)'에 주목했습니다. 연구팀은 "어둑한(dim)"과 "어두운(dark)", 또는 "좋은(good)"과 "훌륭한(excellent)"처럼 강도 순으로 배열된 영어, 스페인어, 프랑스어의 형용사 쌍 수백 개를 수집했습니다. 그런 다음 다섯 가지 서로 다른 언어 모델에게 다양한 조건 하에서 이 쌍들을 판단하도록 요청했습니다. 먼저, 모델들이 "어두운"이 "어둑한"보다 강한 버전임을 인식하며 단어의 순서를 알고 있는지 확인했습니다. 다음으로, 만약 어떤 것이 "어두운" 상태라면 반드시 "어둑한" 상태이기도 하다는 것을 모델들이 이해하는지 테스트했습니다. 마지막으로, "그것은 어둑한 것이 아니라 어둡다(It is not dim but dark)"와 같은 교정 문장을 제시하고, 그 대상이 여전히 최소한 "어둑한" 상태인지 물었습니다.

결과는 모델들이 알고 있는 것과 그 지식을 적용하는 방식 사이에 상당한 격차가 있음을 보여주었습니다. 모델들이 단어의 순서를 올바르게 식별하고 "어두운"이 "어둑한"을 함의한다는 기본 논리를 수용했던 단위에서, 모델들은 긍정문을 93.4%의 확률로 이해하는 데 성공했습니다. 또한 단순 부정 질문에는 99.2%의 정확도로 올바르게 답했지만, 이 높은 정확도는 오해의 소지가 있습니다. 모델들은 전반적으로 "아니오"라고 답하는 경향이 있었기 때문입니다( "예" 비율은 34%에서 44% 사이였습니다). 이러한 편향은 정답이 "아니오"인 질문에서 성능을 인위적으로 부풀립니다. "그것은 어둑한 것이 아니라 어둡다"라는 교정 문장에 직면했을 때, 모델들의 성능은 급격히 떨어졌습니다. 단어의 관계를 이전에 이해했던 것과 동일한 항목 세트에서, 모델들은 452건의 경우에서 교정을 인식하는 데 실패한 반면, 성공한 경우는 단 6건에 불과했습니다. 수프가 여전히 따뜻하다(단지 더 뜨거울 뿐)는 것을 이해하는 대신, 모델들은 문장을 단순한 부정으로 취급하여 대상이 전혀 어둑하지 않다고 결론 내리는 경우가 많았습니다.

이러한 실패는 단어 자체에 대한 지식 부족 때문이 아니었습니다. 연구진이 동일한 단어를 사용하여 "그것은 어둑한 것이 아니라 매우 어둑하다(It is not dim but very dim)"와 같은 유사한 구조를 테스트했을 때, 모델들은 94.4%의 높은 정확도로 이를 맞혔습니다. 이는 모델들이 단어가 동일할 때는 문장 구조를 처리할 수 있지만, 교정 프레임 안에서 두 개의 서로 다른 단어를 연결해야 할 때 어려움을 겪는다는 것을 시사합니다. 이 오류 패턴은 테스트된 다섯 가지 모델 모두와 세 가지 언어 모두에서 일관되게 나타났습니다. 많은 경우에서 모델들은 대상이 최소한 약한 용어의 상태인지에 대한 질문에 "아니오"라고 답했는데, 이는 교정을 제공하는 문장의 뒷부분을 무시한 결과였습니다. 이는 모델들이 형용사의 순위를 매기지 못해서가 아니라, 더 강한 대안이 도입되었을 때 부정의 문자 그대로의 의미를 덮어쓰는 데 어려움을 겪고 있음을 나타냅니다.

연구는 더 명시적인 수정을 사용하는 것이 도움이 될지 탐구했습니다. 영어에서 연구진은 표준적인 "not X but Y"와 "not X but rather Y"라는 단어를 추가한 버전을 비교했습니다. 교정을 더 명확하게 알리는 이 작은 변화는 모델의 정확도를 36.1%에서 49.3%로 향상시켰습니다. 이는 개선된 결과였지만 완전한 해결책은 아니었는데, 모델들이 여전히 절반 이상의 사례에서 의미를 놓쳤기 때문입니다. 연구진은 특정 접속사가 사용되는 스페인어에서 모델들이 영어 나 프랑스어보다 약간 더 나은 성능을 보였지만, 근본적인 어려움은 여전하다고 언급했습니다. 이 데이터는 이러한 시스템들이 단어들이 서로 어떻게 관계하는지에 대한 원천적인 지식은 갖추고 있지만, 문장 구조가 약한 묘사를 거부하고 강한 것을 긍정해야 할 때 그 지식을 활용하는 데는 자주 실패한다는 것을 시사합니다.

이 발견의 함의는 학술적 호기심을 넘어섭니다. 언어 모델은 리뷰를 요약하고, 피드백을 분석하며, 고객 불만을 처리하는 데 점점 더 많이 사용되고 있습니다. 만약 모델이 제품이 "좋은 것이 아니라 뛰어난(not good but outstanding)" 것이라는 리뷰를 읽는다면, 교정적 성격을 파악하지 못해 강력한 찬사를 부정적인 진술로 오해할 수 있습니다. 연구진은 현재 시스템에 대한 평가에 이러한 특정한 유형의 언어적 도전이 포함되어야 한다고 결론지었습니다. 모델이 "뛰어난"이 "좋은"보다 강하다는 것을 아는지 확인하는 것만으로는 부족합니다. 모델이 문장이 더 약한 용어를 부정하여 더 강한 것을 긍정할 때 그 지식을 적용할 수 있는지도 테스트해야 합니다. 모델이 이러한 교정을 안정적으로 헤쳐 나갈 수 있을 때까지, 모델은 인간 의사소통의 뉘앙스를 오독하여 높은 찬사를 비판으로 바꾸고 언어를 강력하게 만드는 미묘함을 놓칠 위험이 있습니다.