Context-Aware LLM Evaluators for Content Moderation Judgments in a Low-Resource Setting

매일 수백만 개의 댓글이 게시되는 인터넷의 북적이는 디지털 광장에서, 규모의 경제로 인한 조용한 위기가 나타났습니다. 한때 모든 게시물을 읽고 무엇을 남기고 무엇을 삭제할지 결정하던 숙련된 전문가인 인간 중재자들은 이제 압도당하고 있습니다. 콘텐츠의 양이 너무 방대해져서 사람들이 따라가는 것이 불가능해졌지만, 유해하거나 주제에서 벗어난 게시물을 구성하는 규칙은 종로의 맥락이나 커뮤니티의 규범에 크게 의존하기 때문에 매우 미묘한 경우가 많습니다. 이를 해결하기 위해 연구자들은 인간과 유사한 텍스트를 이해하고 생성할 수 있는 인공지지능의 한 종류인 대규모 언어 모델로 눈을 돌렸습니다. 이 모델들은 한때 인간의 전유물이었던 게시물 라벨링과 중재 결정을 내리는 판사 역할을 하도록 점점 더 많이 요구받고 있습니다. 그러나 중요한 질문이 남아 있습니다. 기계가 과열된 온라인 논쟁의 미묘한 차이를 진정으로 이해할 수 있을까요, 아니면 공정한 판결을 내리기 위해 전체 그림을 보아야 할까요?

이 질문은 오스트리아 대학의 연구팀이 서로 다른 양의 정보가 주어졌을 때 이러한 인공 판사들이 얼마나 잘 수행하는지를 조사하도록 이끌었습니다. 그들은 독일어 신문의 댓글 섹션이라는 구체적이고 도전적인 환경에 집중했습니다. 이 환경에서 어떤 댓글이 주제에서 벗어났는지, 차별적인지, 아니면 단순히 개인적인 이야기인지 결정하는 것은 화면의 글자를 읽는 것 이상의 것을 요구합니다. 그것은 해당 댓글이 답글을 달고 있는 기사의 맥락과 그 댓글이 속한 대화의 이력을 이해하는 것을 필요로 합니다. 연구진은 인공지능에게 뉴스 기사 전문이나 전체 답글 체인과 같은 더 많은 맥락을 제공하는 것이 인간 전문가의 결정을 모방하는 데 도움이 될지 알고 싶었습니다. 또한 그들은 다른 접근 방식을 테스트했습니다. 모델에게 읽을 텍스트를 더 많이 제공하는 대신, 과거에 인간이 유사한 댓글을 어떻게 판단했는지에 대한 사례를 보여주는 방식입니다.

답을 찾기 위해 연구팀은 오스트리아 신문인 Der Standard의 100만 개 이상의 포스트가 포함된 방대한 컬렉션을 사용했으며, 여기에는 전문 인간 중재자들이 등급을 매긴 약 12,000개의 댓글이 포함된 정교하게 주석이 달린 작은 세트가 포함되었습니다. 그들은 크기가 다양한 세 가지 서로 다른 인공지능 모델을 테스트했습니다. 작은 규모의 빠른 모델부터 훨씬 더 크고 복잡한 모델까지 다양했습니다. 각 모델에 대해, 그들은 프롬프트에 제공되는 정보를 변경하는 일련의 실험을 수행했습니다. 어떤 경우에는 해당 댓글 하나만을 보여주었습니다. 다른 경우에는 댓글과 기사의 헤드라인, 기사 전문, 또는 전체 답글 스레드를 함께 보여주었습니다. 또한 모델에게 과거에 인간이 유사한 댓글을 어떻게 판단했는지 보여주는 두 개의 짧은 검색 사례(온라인에 유지된 사례 하나와 삭제된 사례 하나)를 보여주는 방법도 테스트했습니다.

결과는 이 디지털 판사들이 어떻게 생각하는지에 대한 미묘한 그림을 드러냈습니다. 연구진은 맥락이 도움이 되기는 하지만, 예상과는 다른 방식으로 작용한다는 것을 발견했습니다. 단순히 시스템에 더 많은 텍스트를 쏟아붓는다고 해서 더 나은 결과가 보장되는 것은 아닙니다. 실제로 차별적 언어나 부적절한 모욕을 포착하는 것과 같은 특정 유형의 판단의 경우, 뉴스 기사 전문을 추가하는 것이 오히려 모델을 혼란스럽게 하여 성능을 악화시켰습니다. 모델은 대화의 이력(답글과 토론의 흐름)을 보았을 때 더 잘 작동했는데, 왜냐하면 댓글의 진정한 의미는 바로 그곳에 있기 때문입니다. 그러나 댓글이 주제에서 벗어났는지 결정하는 것과 같은 다른 범주에서는 원본 기사를 보는 것이 필수적이었습니다. 모든 상황에 적용되는 단 하나의 "최적의" 정보량은 없었으며, 적절한 맥락의 양은 모델이 무엇을 판단하도록 요청받느냐에 따라 전적으로 달랐습니다.

아마도 가장 놀라운 발견은 과거의 인간 결정을 보여주는 것이 전체 기사와 대화 이력을 보여주는 것만큼 효과적이었지만, 훨씬 더 짧고 빠르다는 점이었습니다. 연구진이 모델에게 과거에 인간이 유사한 댓글을 어떻게 판단했는지 보여주는 두 개의 짧은 사례를 제공했을 때, 모델은 전체 뉴스 기사와 전체 대화 스레드를 제공받았을 때와 거의 비슷하게 수행되었습니다. 이 검색 방법은 또한 더 신뢰할 수 있었습니다. 더 많은 텍스트를 추가하는 것은 때때로 성능을 해치는 반면, 이 방법은 모든 범주에서 모델의 성능을 향상시켰습니다. 인간이 과거에 유사한 문제를 어떻게 해결했는지를 보는 것이, 배경 텍ks트를 페이지 단위로 읽을 필요 없이 커뮤니티의 기준을 배울 수 있게 해주는 강력한 지름길임이 밝혀졌습니다.

인공지능 모델의 크기는 가장 결정적인 요인으로 판명되었습니다. 310억 개의 파라미터를 가진 가장 큰 모델만이 인간 전문가의 판단 임계치에 일관되적으로 도달하여, 너무 엄격하지도 너무 관대하지도 않은 균형 잡힌 결정을 내릴 수 있었습니다. 작은 모델들은 상당히 고전했습니다. 단 10억 개의 파라미터만 가진 가장 작은 모델은 더 많은 맥락이나 사례를 주어도 개선되지 않는 경우가 많았고, 때로는 이로 인해 성능이 저하되기도 했습니다. 중간 크기의 모델은 거의 모든 댓글을 문제적인 것으로 표시하여 거의 모든 것을 잡아내면서도 많은 오보를 발생시킬 수 있었습니다. 이는 작은 모델들이 명백한 문제를 잡아내는 첫 번째 필터로서 유용할 수는 있지만, 아직 독자적으로 인간의 판단을 대체할 준비는 되지 않았음을 시사합니다. 오직 가장 큰 모델들만이 커뮤니티 규범의 미묘한 경계를 이해하는 데 필요한 능력을 보여주었습니다.

이전의 특정 데이터에 특화되어 훈련된 컴퓨터 시스템과 비교했을 때, 새로운 접근 방식은 가장 중요한 안전 영역에서 뚜렷한 강점을 보였습니다. 인공 판사들은 차별적이거나 주제에서 벗어난 콘텐츠와 같이 삭제를 초래하는 드문 유해 포스트를 식별하는 데 훨씬 더 뛰어났으며, 수천 개의 사례를 통해 훈련된 기존 시스템보다 우수한 성능을 보였습니다. 그러나 기존의 훈련된 시스템들은 개인적인 이야기나 논리적인 주장과 같은 건설적인 콘텐츠를 식별하는 데 여전히 더 나았습니다. 이러한 차이는 새로운 접근 방식이 인간의 훈련 데이터가 희귀하고 생산 비용이 많이 드는 곳에서 가장 잘 작동한다는 핵심적인 현실을 강조합니다. 공동체의 안전을 정의하는 드물고 어려운 사례들에 대해, 몇 가지 스마트한 사례의 안내를 받는 인공 판사는 제한된 데이터로 훈련된 시스템보다 더 나은 역할을 할 수 있습니다. 하지만 흔하고 긍정적인 상호작용에 대해서는 기존 방식이 여전히 우위를 점하고 있습니다.

궁극적으로, 이 연구는 콘텐츠 중재의 미래가 인간을 단 하나의 완벽한 기계로 대체하는 것이 아니라, 적절한 작업에 적절한 도구를 찾는 것에 관한 것임을 시사합니다. 연구는 뉴스룸과 온라인 커뮤니티를 위한 최선의 전략이 가장 큰 규모의 모델을 사용하고, 끝없는 텍스트로 모델을 압도하기보다는 인간이 유사한 상황을 어떻게 판단했는지를 보여주는 방식에 의존하는 것임을 나타냅니다. 이 접근 방식은 대규모의 라벨링된 사례 데이터베이스가 없는 언어나 커뮤니티에서도 확장 가능하고 신뢰할 수 있는 중재를 가능하게 합니다. 이는 적절한 모델을 선택하고 적절한 정보를 제공한다면, 기술이 인간 대화의 미묘하고 맥락 의존적인 특성을 존중하면서 인터넷의 방대한 양을 처리할 수 있는 길을 제시합니다.