Resources and Evaluation in Computational Humour Generation: A Systematic Survey across Languages and Cultures

컴퓨터가 농담을 하게 만드는 것은 인공지능 분야에서 매우 기만적일 정도로 어려운 과업 중 하나입니다. 이는 단순히 문법 규칙에 맞는 단어들을 조합하는 것 이상의 것을 요구합니다. 기계는 인간의 문화, 타이밍, 그리고 기대치라는 미묘하고도 종종 보이지 않는 규칙들을 이해해야 합니다. 한 도시에서는 통하는 농담이 다른 도시에서는 맥이 빠지거나 심지어 불쾌감을 줄 수도 있으며, 누군가에게는 재미있게 느껴지는 것이 다른 이에게는 혼란스럽게 보일 수도 있습니다. 수년 동안 연구자들은 유머를 생성할 수 있는 시스템을 구축하기 위해 노력해 왔으며, 단어를 교체하는 단순한 규칙 기반 프로그램에서부터 방대한 양의 텍스트로부터 학습하는 복잡하고 현대적인 시스템으로 발전해 왔습니다. 그러나 이러한 시스템이 더욱 강력해짐에 따라 새로운 문제가 등장했습니다. 컴퓨터가 농담을 쓰는 능력은 향상되고 있지만, 그들이 서 있는 토대는 점점 더 보이지 않게 되고 있다는 점입니다. 우리는 그들이 즐겁게 만들어야 할 사람들을 진정으로 대표하는 데이터를 통해 학습했는지, 혹은 그들을 판단하기 위해 사용된 테스트가 우리가 생각하는 것을 실제로 측정하고 있는지 알지 못합니다.

킹몽쿠트 공과대학교(King Mongkut's University of Technology Thonburi) 연구진의 최근 체계적 조사(systematic survey)는 이 숨겨진 토대를 엄중히 살펴봅니다. 연구팀은 컴퓨터가 유머를 창조하도록 가르치는 방식의 거대한 변화가 있었던 2020년에서 2026년 사이 발표된 74개의 연구를 검토했습니다. 그들은 단순히 기계가 생산한 농담만을 본 것이 아니라, 모델을 훈련하는 데 사용된 원천 데이터부터 농담이 실제로 재미있는지 결정하는 데 사용된 방법론에 이르기까지 연구의 전체 생애주기를 추적했습니다. 그들의 목표는 과학자들이 사용할 수 있는 자원들이 진정으로 공개되어 있는지, 데이터가 인간 문화의 다양성을 포괄하고 있는지, 그리고 이러한 시스템을 테스트하는 방식이 신뢰할 수 있는지를 결정하는 것이었습니다. 그들이 발견한 것은 기술이 이를 뒷받침하는 데 필요한 투명성과 엄격함을 앞질러 가고 있는, 급격한 전환기에 놓인 분야였습니다.

유머 생성의 지형은 불과 몇 년 만에 극적으로 변했습니다. 과거에 연구자들은 언어유희나 헤드라인과 같은 특정 유형의 농담을 위해 설계된 수작업 규칙이나 작은 데이터 세트에 의존했습니다. 오늘 đây, 이 분야는 인터넷의 방대한 텍텍스트로 훈련된 거대한 컴퓨터 프로그램인 대규모 언어 모델(LLM)이 지배하고 있습니다. 이 모델들은 다양한 언어와 스타일로 텍스트를 생성할 수 있으며, 검토된 연구의 73%에서 나타났습니다. 연구자들은 이제 특정 농담을 하는 프로그램을 작성하는 대신, 모델에게 유머러스해지라는 간단한 지시어, 즉 프롬프트를 주는 경우가 많습니다. 이러한 유연성은 새로운 실험의 급증을 가져왔으며, 연구 수는 2023년 이후 급격히 증가했습니다. 그러나 이러한 변화는 새로운 종류의 불투명성을 만들어냈습니다. 유머 지식이 모델의 내부 설정, 모델에 주어지는 지시어, 그리고 생성 과정에서 검색되는 데이터 전반에 퍼져 있기 때문에, 유머가 정확히 어디에서 오는지, 혹은 어떤 특정한 문화적 맥락을 끌어오고 있는지 파악하는 것이 종종 불가능해졌습니다.

이번 조사에서 가장 눈에 띄는 발견 중 하나는 데이터가 풍부함에도 불구하고, 이를 찾거나 재사용하거나 검증하는 것이 믿기 힘들 정도로 어렵다는 점입니다. 연구진은 이 74개 연구에서 생성된 데이터 세트와 자원의 가용성을 확인했으며, 그 결과 28%만이 다른 이들이 사용할 수 있도록 공개되어 있음을 발견했습니다. 더욱 우려스러운 점은, 단 하나의 연구만이 데이터 사용을 규정하는 법적 라이선스를 명시적으로 밝혔다는 것입니다. 과학 연구의 세계에서 이것은 레시피를 출판하면서 정작 재료 목록이나 요리를 공유하는 규칙을 적어두지 않는 것과 같습니다. 연구진이 공개된 소수의 자원을 살펴보았을 때, 그중 어느 것도 인터넷상의 영구적이고 변경 불가능한 주소인 '지속적 식별자(persistent identifier)'를 가지고 있지 않았습니다. 이는 데이터로 연결되는 링크가 깨질 수 있으며, 일단 링크가 깨지면 데이터는 사실상 소실됨을 의미합니다. 명확한 라이스선과 안정적인 위치가 없다면, 다른 과학자들은 결과를 재현하거나 연구를 발전시킬 수 없으며, 이는 발전을 늦추고 해당 시스템이 정말 효과적인 것인지 아니면 그저 운이 좋았던 것인지 판단하기 어렵게 만듭니다.

또한 이번 조사는 시스템이 봉사하고자 하는 사람들이 사용하는 언어와 시스템을 구축하는 데 사용되는 언어 사이에 상당한 격차가 있음을 드러냈습니다. 연구자들은 자신들의 시스템이 다양한 문화권에서 작동할 수 있다고 주장했음에도 불구하고, 연구의 절반 이상이 영어에만 집중되었습니다. 중국어, 스페인어, 일본어 및 기타 언어를 포함하는 연구들도 있었지만, 많은 경우 자연스럽게 생성된 유머를 수집하기보다는 영어 농담을 번역하는 데 의존했습니다. 이는 매우 중요한 차이인데, 특정 역사적 사건이나 지역적 관습에 기반한 농담은 단순히 번역한다고 해서 다른 곳에서 통할 수 없기 때문입니다. 연구진은 생성된 유머가 문화적으로 적절한지를 타겟 커뮤니티에 속한 평가자를 통해 직접 평가한 연구가 단 4개뿐임을 발견했습니다. 대부분의 다른 사례에서 연구자들은 원어민이 재미있다고 느낀다면 문화적으로도 안전할 것이라고 가정했으며, 구체적인 문화적 민감성이나 전통에 대해 실제로 테스트하지 않았습니다.

컴퓨터가 성공적으로 농담을 했는지 판단하는 문제에 있어서, 사용되는 방법들은 흔히 일관성이 없고 때로는 오해의 소지가 있습니다. 유머를 측정하는 황금 표준은 항상 인간의 판단이었으며, 조사는 인간 평가가 여전히 가장 흔한 방법(연구의 84%에서 사용됨)임을 확인했습니다. 그러나 이러한 평가가 수행되는 방식은 매우 다양합니다. 어떤 연구는 소수의 학생 그룹을 사용하고, 어떤 연구는 전문 코미디언이나 대규모 온라인 작업자를 사용합니다. 결과가 단순히 우연이 아님을 보장하기 위해 통계적 검정을 사용했다고 보고한 연구는 40% 미만이었으며, 많은 연구가 농담이 왜 재미있는지에 대한 기준을 설명하지 않았습니다. 속도를 높이기 위해 일부 연구자들은 다른 컴퓨터 모델을 판사로 사용하기 시작했지만, 조사 결과 이러한 자동화된 판사들이 인간과 의견이 일치하지 않는 경우가 많았습니다. 이들은 응답이 참신하거나 놀랍다는 이유로 재미있다고 평가할 수 있지만, 실제 인간은 그것을 혼란스럽거나 불쾌하게 느낄 수 있습니다. 이는 시스템이 실제 사람을 즐겁게 하기보다 다른 컴퓨터를 만족시키도록 최적화될 위험을 초환합니다.

연구진은 이 분야의 주요 장애물은 더 이상 데이터의 부족이 아니라, 이미 존재하는 데이터를 찾고, 재사용하고, 검증하는 것의 어려움이라고 결론지었습니다. 강력하고 범용적인 모델로의 전환은 고품질의 잘 문서화된 자원에 대한 필요성을 없앤 것이 아니라, 오히려 그 자원들을 더욱 중요하게 만들었습니다. 앞으로 나아가기 위해서, 이 분야는 명확한 라이선스, 영구적인 링크, 그리고 데이터가 어떻게 수집되고 주석이 달렸는지에 대한 상세한 설명을 포함하여 데이터를 공유하는 더 나은 관행을 채택해야 합니다. 무엇보다도, 연구자들은 자신들의 평가가 자신들이 내세우는 주장과 일치하도록 보장해야 합니다. 만약 시스템이 특정 문화 집단을 위해 재미있어야 한다면, 반드시 그 집단에 속한 사람들에 의해 그들의 가치와 전통을 반영하는 기준으로 테스트되어야 합니다. 이러한 토대가 강화되지 않는 한, 컴퓨터가 농담을 하게 만드는 진전은 불확실한 상태로 남을 것이며, 그 성과는 인간의 유머에 대한 진정한 이해라기보다 테스트 방법의 특이성을 반영하는 것에 그칠 수 있습니다.