NLG Evaluation: Past, Present, Future

자연어 생성 (NLG) 을 컴퓨터로 요리를 하고 레시피를 쓰는 셰프로 상상해 보세요. 지난 30 년간 이 셰프의 작업을 평가하는 방식은 완전히 변해 왔으며, 곧 다시 변할 것입니다. 에후드 라이터가 쓴 이 논문은 우리가 이러한 디지털 요리를 맛보는 법을 배워 온 연대기입니다.

여기서 NLG 평가의 이야기를 세 막으로 나누어 설명합니다: 과거, 현재, 그리고 미래.

제 1 막: 과거 (1990 – 2010)

"셰프의 메모" 시대

• 1990 년: 예술 비평가 접근법
  1990 년, 저자가 박사 학위를 받을 당시에는 숫자로 요리를 '테스트'하는 사람이 거의 없었습니다. 셰프가 새로운 레시피가 더 좋다고 주장하면, 100 명에게 제공하여 사람들이 좋아하는지 확인하지 않았습니다. 대신, 언어학적이거나 공학적인 고급 논리를 사용하여 레시피가 왜 좋은지 설명하는 긴 에세이를 작성했습니다. 마치 어떤 음식 비평가가 "이 소스는 재료의 문법이 잘 흐르기 때문에 아름답다"고 말하되, 실제로 누가 맛있게 먹었는지 묻지 않는 것과 같았습니다.
• 2000 년: 맛 테스트 폭발
  2000 년이 되자 사람들은 실제로 음식을 맛봐야 한다는 사실을 깨달았습니다. 연구자들은 요리를 평가하기 위해 다양한 방법을 시도하기 시작했습니다. 인간에게 점수를 매기게 하거나, 특정 문제를 해결했는지 확인하거나, 초기 컴퓨터 점수를 활용하는 방식이었습니다. 이는 다소 혼란스러웠습니다. 모두가 다른 방법을 시도했고, 아직 단일한 '골드 스탠다드'는 존재하지 않았습니다.
• 2010 년: 표준화된 메뉴
  2010 년이 되자 부엌이 체계화되었습니다. 커뮤니티는 모두가 같은 요리를 만들어야 하는 요리 대회와 같은 '공유 작업 (Shared Tasks)'을 사용하기 시작했습니다. 그들은 음식을 측정할 특정 자를 합의했습니다:
  • 자 (지표): BLEU 와 ROUGE 와 같은 컴퓨터 점수를 사용했습니다. 이는 새로운 요리를 '완벽한 기준 요리'와 비교하여 일치하는 단어 수를 세는 것과 같습니다.
  • 패널 (인간 평가): 인간에게 요리를 순위 매기게 했습니다. 컴퓨터 자는 때때로 잘못 판단하기 때문에, 음식이 실제로 맛있는지 판단하는 표준적인 방법이 되었습니다.

제 2 막: 현재 (2026 년)

"슈퍼 셰프" 시대

2026 년으로 시간을 앞당겨 봅시다. 셰프 (이제 대규모 AI 모델인 LLM 으로 구동됨) 는 놀라울 정도로 훌륭해졌습니다. 음식이 너무 완벽하여 이를 평가하던 기존 방식들이 무너지고 있습니다.

• 오래된 자의 문제:
  과거에는 AI 의 음식을 인간이 쓴 '기준 요리'와 비교했습니다. 하지만 지금은 AI 의 음식이 종종 인간 기준보다 '더 좋습니다'. 걸작을 스케치와 비교하여 평가할 수는 없습니다. 비교 대상인 스케치가 상대적으로 나빠 보일 뿐입니다.
• 새로운 심사위원 (LLM-as-Judge):
  음식이 너무 복잡해지자, 우리는 한 AI 가 다른 AI 를 평가하게 하기 시작했습니다. 마치 요리를 비평할 로봇인 초고급 미식가를 고용한 것과 같습니다. 이는 때로는 잘 작동하지만, 로봇 미식가가 편향되거나 혼란스러우면 위험합니다.
• 전문 패널:
  일반인 (크라우드 워커) 은 이제 이러한 고품질 음식의 미묘한 오류를 찾아낼 만큼 능숙하지 않습니다. 때로는 심사를 위해 AI 를 사용하는 사기를 치기도 합니다! 따라서 이제 우리는 "셰프가 가짜 재료를 환각으로 만들어냈는가?" 또는 "이 조언은 안전한가?"와 같은 특정 문제를 면밀히 조사할 전문가 (의사나 변호사 등) 가 필요합니다.
• 안전 점검:
  이러한 AI 셰프들이 이제 병원과 로펌에서 일하고 있기 때문에, 단순히 음식이 '평균'인지 여부에만 관심을 가질 수 없습니다. 최악의 시나리오를 점검해야 합니다. 의료 AI 가 99.9% 의 경우 완벽한 조언을 제공하지만 0.1% 의 경우 치명적인 조언을 제공한다면, 그것은 재앙입니다. 우리는 그 희귀하고 위험한 실수를 찾아내야 합니다.

제 3 막: 미래 (2036 년)

"실제 세계 영향" 시대

2036 년을 내다보면, 저자는 우리가 시험 부엌에서 셰프가 요리를 얼마나 잘하는지 측정하는 것을 멈추고, 음식이 실제 세계에 미치는 영향을 측정해야 한다고 주장합니다.

• 영향 평가 (건강 진단):
  현재 우리는 주로 "AI 가 올바른 답을 얻었는가?"라고 묻습니다. 미래에는 "이 AI 를 사용함으로써 환자가 실제로 도움을 받았는가?" 또는 "회사의 비용을 절감했는가?"라고 물어야 합니다. 이는 실험실에서 레시피를 평가하는 것에서 벗어나, 실제 세계에서 레스토랑이 고객들을 행복하고 건강하게 유지하는지 확인하는 것으로 이동하는 것과 같습니다.
• 정성적 평가 (스토리텔링):
  우리는 이제 숫자 (통계) 만 의존하는 것을 멈추고 이야기에 귀 기울여야 합니다. 사람들이 왜 경험을 좋아하거나 싫어했는지 이해하기 위해 인터뷰와 포커스 그룹을 사용할 것입니다. 숫자는 '무엇'이 일어났는지 알려주지만, 이야기는 그것이 '어떻게' 느껴졌는지 알려줍니다.
• 안전 평가 (가드레일):
  안전이 가장 중요한 것이 될 것입니다. 정부들은 자동차나 의약품에 대해 하듯이 규칙을 설정하기 위해 개입하기 시작할 것입니다. 해커들이 AI 를 속이려 하거나 예측 불가능한 이상한 상황에 직면할 때, AI 가 제멋대로 행동하지 않도록 지속적으로 모니터링해야 합니다.

핵심 교훈

이 논문은 해당 분야가 체크리스트 확인 (숫자가 일치했는가?) 에서 실제 세계 확인 (이것이 실제로 사람들을 도왔거나 해쳤는가?) 으로 이동하고 있다고 결론 내립니다.

저자는 현재의 연구 문화가 다소 게으르다고 경고합니다. 누구나 빠른 결과를 발표하고 싶어 하며, 심사자들은 테스트가 실제로 좋은지 여부를 종종 무시합니다. 앞으로 나아가기 위해 커뮤니티는 더 엄격해지고, 사기를 멈추며, 실제로 사용될 혼란스럽고 복잡한 현실에서 이러한 강력한 도구를 테스트하는 법을 배워야 합니다.