Is the ACL Responsible NLP Checklist a Box-Ticking Exercise? A Large-Scale Analysis of EMNLP 2025

인공지능(AI)의 세계를 거대하고 북적이는 건설 현장이라고 상상해 보십시오. 매일 엔지니어 팀들이 놀라운 새로운 기계들을 만들어내고 있습니다. 어떤 것은 시를 쓰고, 어떤 것은 질병을 진단하며, 어떤 것은 언어를 즉각적으로 번역합니다. 하지만 일반적인 건설 프로젝트와 마찬가지로, 여기에도 규칙이 있습니다. 건축가가 안전 규정을 무시하거나, 불안정한 자재를 사용하거나, 첫 번째 자동차가 지나가자마자 무너지는 다리를 건설해서는 안 되기 때문입니다. AI 연구의 세계에서 이러한 "안전 규정"을 **책임 있는 NLP 관행(Responsible NLP Practices)**이라고 부릅니다. 이는 연구자들에게 자신들이 모델을 어떻게 구축했는지 투명하게 밝히고, 자신의 작업이 누구에게 해를 끼칠 수 있는지 고민하며, 데이터가 윤리적으로 수집되었는지 확인하도록 요구하는 일련의 가이드라인입니다.

모두가 이 규칙을 따르도록 보장하기 위해, (이 논문이 발표된 곳과 같은) 거대 AI 컨퍼런스들은 **체크리스트(Checklist)**를 도입했습니다. 이 체크리스트는 건축가가 건물을 승인받기 전에 반드시 작성해야 하는 최종 검사 양식과 같습니다. 이 양식은 "안전 위험을 확인했습니까?", "도구를 만든 사람들의 공로를 인정했습니까?", "연구 대상자로부터 허가를 받았습니까?"와 같은 질문을 던집니다. 목표는 이러한 거대하고 두려운 윤리적 개념들을 연구자들이 하나씩 체크할 수 있는 간단한 "예/아니요" 상자로 바꾸어, 그들의 작업이 모두에게 안전하고 정직하도록 보장하는 것이었습니다.

하지만 여기서 중요한 질문이 생깁니다. 연구자들이 실제로 답변에 대해 깊이 고민하고 있는 것일까요, 아니면 그저 논문을 발표하기 위해 서둘러 상자에 체크만 하고 있는 것일까요? 이것이 바로 이 논문이 조사하고자 하는 내용입니다. 애버딘 대학교(University of Aberdeen)의 연구진은 탐정 놀이를 하기로 했습니다. 그들은 EMNLP 2025에 제출된 3,000편 이상의 논문에서 체크리스트를 수집했고, 마치 범죄 현장을 조사하는 감식반처럼 이를 분석했습니다. 그들은 단순히 "예" 또는 "아니요" 표시만 본 것이 아니라, 저자들이 자신의 선택을 설명하기 위해 쓴 아주 작은 메모(정당화 문구)들을 살펴보았습니다. 그들은 체크리스트가 실제로 연구자들을 더 책임감 있게 만들고 있는지, 아니-면 그저 지루하고 생각 없는 "체크박스 채우기 게임"이 되어버렸는지를 알고 싶었습니다.

거대한 "체크박스 채우기" 강탈 사건

이 연구의 저자들은 EMNLP 2025의 체크리스트를 거대한 퍼즐처럼 다루었습니다. 그들은 수천 편의 PDF 논문과 그에 대응하는 체크리스트를 읽고, 저자들이 작업을 수행했다고 주장하는 논문의 특정 섹션과 답변을 연결하는 특수 컴퓨터 파이프라인(자동화 도구 세트)을 구축했습니다. 그들은 73,922개의 개별 답변과 정당화 문구를 분석했습니다. 그들이 발견한 결과는 많은 연구자에게 있어 체크리스트가 진지한 안전 검사가 아니라, 단지 끝내기 위해 수행하는 "박스 티킹(box-ticking) 연습"이 되었음을 시사합니다.

"사후 고려" 문제
가장 눈에 띄는 발견 중 하나는 연구자들이 윤리를 마치 외출한 후에 현관문 잠그는 것을 기억해 내는 것처럼, 사후 고려 사항으로 취급한다는 점입니다. 연구는 메인 트랙(Main Track)의 경우, 저자들이 윤리 질문을 논문의 나머지 부분과 분리하는 경향이 있다는 것을 발견했습니다. 안전과 윤리를 연구의 이야기 속에 녹여내는 대신, 마지막에 덧붙이기만 한 것입니다. 이는 마치 요리사가 맛있는 케이크 레시피를 썼으면서, 굽는 동안 온도를 어떻게 확인했는지 설명하는 대신 맨 아래쪽 아주 작은 각주에 오븐의 안전성에 대해서만 언급한 것과 같습니다.

"아니요" 정당화의 참사
연구자들이 질문에 "아니요"(즉, "나는 이 특정 윤리적 사항을 수행하지 않았다")라고 답했을 때, 그들은 왜 그런지 설명해야 했습니다. 이것은 체크리스트에서 가장 중요한 부분인데, 자신이 하지 않은 일을 인정하게 만들기 때문입니다. 그러나 저자들은 이러한 "아니요" 정당화 문구의 **44.9%**가 비어 있거나(공란), "해당 없음"과 같이 한두 단어 정도로 매우 짧다는 것을 발견했습니다.

운전자가 전조등 고장으로 경찰에게 단속되는 상황을 상상해 보십시오. 경찰이 "왜 고치지 않았습니까?"라고 물었을 때, 운전자가 그냥 어깨를 으쓱하며 "뭐라고 하든"이라고 말하거나 아무 말도 하지 않는 것과 같습니다. 그것이 거의 절반에 가까운 연구자들이 한 행동입니다. 그들은 왜 안전 단계를 건너뛰었는지 설명하지 않았습니다. 그저 상자에 체크하고 넘어갔습니다. 이는 심각한 문제입니다. 적절한 설명이 없다면, 위험이 정말 낮은 것인지 아니면 연구자가 단지 신경 쓰지 않은 것인지 아무도 알 수 없기 때문입니다.

"리스크"의 사각지대
아마도 가장 우려되는 발견은 **잠재적 위험(potential risks)**에 관한 질문일 것입니다. 이 부분은 연구자들에게 "내 AI가 사람들을 해치는 데 사용될 수 있는가? 편향성을 퍼뜨릴 수 있는가?"라고 생각하도록 요구하는 곳입니다. 연구 결과, 저자들의 **53%**가 자신의 작업에 "위험이 없다"거나 "사회적 영향이 없다"고 주장하며 이러한 위험을 완전히 일축했습니다.

저자들은 이것을 자동차 제조사가 브레이크를 테스트 한 번 해보지도 않고 "우리 새 차는 충돌 위험이 없습니다"라고 말하는 것에 비유합니다. 논문은 연구자들이 깊고 정직한 성찰 없이 단순히 "위험 없음"을 체크함으로써, 자신들이 만든 창조물의 실제 세계적 위험을 무시하고 있다고 지적합니다. 체크리스트 설계가 그들을 충분히 깊게 생각하도록 강제하지 못했고, 너무 쉽게 책임을 면하게 해주었습니다.

논리적 루프홀(Loophole)
연구는 또한 체크리스트에 논리적 모순이 가득하다는 것을 발견했습니다. 체크리스트는 트리 구조로 되어 있습니다. 즉, 큰 질문(부모 질문)에 "아니요"라고 답하면, 그 아래의 모든 작은 질문(자식 질문)들도 "아니요" 또는 "해당 없음"이어야 합니다. 하지만 저자들은 전체 체크리스트의 **6%**에서 논리적 오류를 발견했습니다.

예를 들어, 연구자가 "데이터를 사용했습니까?"라는 질문에는 "아니요"라고 답하면서, 자식 질문인 "사용된 데이터를 설명했습니까?"에는 "예"라고 답할 수 있습니다. 이는 "나는 케이크를 굽지 않았다"라고 말하면서 곧바로 "네, 초콜릿 칩을 사용했습니다"라고 말하는 것과 같습니다. 이러한 모순은 많은 저자가 자신의 답변이 말이 되지 않는다는 사실을 인지하지 못한 채 부주의하게 양식을 작성했음을 시사합니다. 이러한 혼란은 검토자들이 체크리스트를 신뢰하기 어렵게 만듭니다.

메인 트랙 vs 파인딩 트랙
연구진은 "메인 트랙"(가장 권위 있는 논문들)과 "파인딩 트랙"(내용은 탄탄하지만 기여도가 좁은 논문들)을 비교했습니다. 그들은 메인 트랙이 더 주의 깊을 것이라고 예상했습니다. 메인 트랙이 약간 더 나은 준수율을 보이긴 했지만, 나쁜 습관은 양쪽 모두에서 나타났습니다. 최고 수준의 논문들에서도 연구자들은 윤리적 성찰을 건너뛰고 빈약한 정당화 문구를 작성했습니다. 이는 문제가 단순히 논문의 질에 관한 것이 아니라, 체크리스트 자체가 어떻게 사용(또는 오용)되고 있는지에 관한 것임을 시사합니다.

결론: 고장 난 검사 양식인가?

이 논문은 현재의 체크리스트 설계가 제 역할을 수행하지 못하고 있다고 결론짓습니다. 체크리스트는 연구자들이 자신의 작업에 대한 윤리와 위험을 고민하도록 만드는 데 성공하지 못하고 있습니다. 대신, 그것은 사람들이 서둘러 해치워야 할 관료적인 장애물이 되었습니다. 저자들은 체크리스트가 "표면적 준수(surface compliance)"를 조장하고 있다고 지적합니다. 즉, 연구자들이 실제로 깊은 성찰이라는 힘든 작업을 수행하지 않으면서도 규칙을 따르는 것처럼 보이게 만든다는 것입니다.

이 연구는 체크리스트에 대한 전면적인 개편이 필요하다고 제안합니다. 그들은 다음과 같이 권고합니다:

1. 최소 단어 수 강제: 만약 "아니요"라고 답한다면, 단순히 어깨를 으쓱하는 것이 아니라 실제적인 설명을 반드시 작성해야 합니다.
2. 더 나은 설계: 양식은 적용되지 않는 질문을 자동으로 숨김으로써 논리적 모순(예: "케이크는 없지만 초콜릿 칩은 있다"는 문제)을 방지해야 합니다.
3. 더 엄격한 조사: 검토자들은 "위험 없음"이라는 답변을 훨씬 더 면밀히 살펴봐야 합니다. 새로운 기술이 위험이 전혀 없다고 주장하는 것은 종종 위험 신호(Red Flag)이기 때문입니다.

요약하자면, 이 논문은 단순한 체크리스트에 의존하여 AI를 안전하게 만들 수는 없다고 주장합니다. 기술의 미래를 건설하는 사람들이 생각 없이 상자에 체크만 하고 있다면, "안전 검사"는 가짜에 불-과합니다. 저자들은 이러한 결함들을 폭로함으로써, 커뮤니티가 단순히 버튼을 누르기 전에 "이것이 안전한가?"라고 스스로 묻게 만드는 더 나은 시스템을 구축할 수 있기를 희망합니다.