Expectations and Practices around AI Disclosure in CS Research
이 논문은 현재의 AI 공개 정책과 컴퓨터 과학 분야 연구자들의 기대 사이의 불일치를 조사하여, 연구자들이 연구 설계와 같은 저관여 작업에 대한 AI 사용 공개를 우선시하는 반면 실제 공개 관행은 글쓰기 보조와 같이 덜 중요한 사용을 과도하게 보고하고 있음을 밝히고, 이를 통해 정책을 이러한 기대에 더 잘 부합하도록 개선할 것을 제안한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
현대 컴퓨터 과학의 실험실에는 새로운 종류의 조수가 조용히 자리를 잡았습니다. 이들은 문장을 쓰고, 코드를 디버깅하며, 아이디어를 정리하는 데 있어 과거에는 기계가 불가능해 보였던 유창함을 갖춘 생성형 인공지능 도구들입니다. 연구자들은 아이디어의 초기 불꽃부터 원고의 최종 다듬기 단계에 이르기까지, 업무 속도를 높이기 위해 이들에게 의존하기 시작했습니다. 그러나 이러한 편리함은 과학계 내에서 조용하지만 긴박한 논쟁을 불러일으켰습니다. 기계가 논문을 쓰는 데 도움을 주었을 때, 그 공로는 누구에게 돌아가며, 그 도움의 정도를 독자에게 얼마나 밝혀야 하는가에 대한 문제입니다. 핵심 쟁점은 신뢰입니다. 과학은 제시된 작업이 인간의 사고와 노력의 산물이라는 이해에 기반합니다. 만약 도구가 핵심적인 역할을 수행한다면, 독자가 무엇이 사람에 의해 수행되었고 무엇이 기계에 의해 수행되었는지 정확히 알지 못하는 한, 발견의 무결성이 훼손될 수 있습니다. 결과적으로, 많은 주요 컴퓨터 과학 컨퍼런스들은 급격한 기술 변화의 시대에 투명성을 유지하기 위한 규칙으로서, 저자들이 이러한 도구의 사용을 밝히는 성명서를 포함하도록 요구하기 시작했습니다.
인도 벵갈루루에 위치한 인도 과학 연구소(Indian Institute of Science)의 연구팀은 이러한 새로운 규칙들이 실제로 의도한 대로 작동하고 있는지 조사하기 위해 나섰습니다. 그들은 컨퍼런스 주최측이 작성한 정책이 연구자들이 실제로 필요하다고 생각하는 것과 일치하는지, 그리고 저자들이 논문에 작성하는 성명서가 그러한 기대치를 반영하고 있는지를 알고 싶었습니다. 이를 위해 그들은 먼저 규칙 자체를 살펴보았습니다. 그들은 65개의 주요 컴퓨터 과학 컨퍼런스와 해당 분야의 4대 주요 전문 학회의 가이드라인을 조사했습니다. 그 결과, 대부분의 이러한 장소들이 이제 공개를 요구하는 정책을 가지고 있음에도 불구하고, 규칙이 종종 모호하다는 것을 발견했습니다. 규칙들은 저자들에게 정직하라고 말하지만, 어떤 작업에 언급이 필요한지 또는 어떤 세부 사항이 포함되어야 하는지를 구체적으로 명시하는 경우는 드뭅니다. 이는 마치 교사가 학생들에게 서로 다른 과제에 대해 "주의 깊게 하라"고 말하면서, 정작 "주의 깊다"는 것이 무엇을 의미하는지는 설명해주지 않는 것과 같습니다.
이 빈틈을 채우기 위해, 연구진은 109명의 컴퓨터 과학자들에게 간단한 질문을 던졌습니다. 연구 과정의 어느 부분에서 AI 도구를 사용했음을 밝히는 것이 진정으로 중요한가? 그들은 연구자들에게 새로운 아이디어 생성 및 실험 설계부터 코드 작성 및 문법 교정에 이르기까지 21가지의 흔한 작업 목록을 제시했습니다. 또한 그들에게 각 작업에 인간의 통제가 얼마나 개입되었는지를 고려해 달라고 요청했습니다. 결과는 시사하는 바가 컸습니다. 연구진은 공동체가 AI가 연구 설계, 데이터 분석, 또는 새로운 가설 수립과 같은 중대한 지적 작업을 수행할 때 공개가 가장 결정적이라는 점에 대체로 동의한다는 것을 발견했습니다. 이 영역에서는 인간의 기여가 기계에 의해 가려질 위험이 가장 높습니다. 반대로, 단순히 오타를 수정하거나, 문장을 재구성하거나, 참고 문헌 형식을 맞추는 데 AI를 사용하는 것은 공개할 필요성이 훨씬 낮다고 간주되었습니다. 흥ensingly하게도, 인간의 통제 수준은 매우 중요했습니다. 연구자가 AI 도구를 사용하되 모든 출력을 검증하고 최종 결정을 내리며 밀착 감시했을 때는 공개 필요성이 낮게 느껴졌습니다. 하지만 AI가 거의 감독 없이 작동하도록 허용했을 때는 투명성에 대한 요구가 급격히 높아졌습니다.
그다음 연구팀은 실제 세상에서 어떤 일이 일어나고 있는지에 주목했습니다. 그들은 EMNLP와 ICLR이라는 두 주요 컨퍼런스에 제출된 약 14,000개의 공개 성명서를 수집하고 분석했습니다. 그들은 이 실제 사례들을 방금 설문조사를 통해 얻은 기대치와 비교했습니다. 사람들이 원하는 것과 실제로 얻고 있는 것 사이의 격차는 놀라울 정도였습니다. 연구진은 가장 중요한 공개 사항이 책임 소재와 구체적인 수행 작업임을 발견했지만, 검토한 논문의 대다수는 이 정보를 포함하지 못했습니다. 대신, 가장 흔한 공개 내용은 공동체가 가장 중요하지 않다고 여긴 작업들, 즉 텍스트 편집과 코드 수정에 관한 것이었습니다. 많은 경우, 저자들은 AI를 "다듬기(polishing)" 용도로 사용했다고 인정하는 짧고 일반적인 문장을 썼지만, AI가 핵심 과학 작업에 도움을 주었는지 여부에 대해서는 언급을 누락했습니다.
아마도 가장 우려스러운 발견은 수십 개의 관련 없는 논문에서 동일하게 복사하여 붙여넣은 듯한 문구들이 나타났다는 점입니다. 표준적인 AI 사용 사례를 나열하고 책임을 부인하는 특정 단락 하나가 단일 컨퍼런스에 제출된 95개의 서로 다른 논문에 토씨 하나 틀리지 않고 그대로 등장했습니다. 이는 많은 저자들에게 있어 공개가 진정한 작업 흐름에 대한 기록이라기보다, 단순히 체크해야 할 항목이 되었음을 시사합니다. 연구진은 일부 성명서가 포괄적이기도 했지만, 서로 관련 없는 작업들 사이에 반복되는 양상은 저자들이 규칙의 정신을 실천하기보다는 형식적인 준수를 하고 있음을 나타낸다고 지적했습니다. 또한 연구진은 저자들이 많은 독자가 알고 싶어 하는 세부 사항임에도 불구하고, 어떤 특정 AI 모델을 사용했는지는 거의 언급하지 않는다는 사실을 발견했습니다.
이러한 발견을 바탕으로, 연구진은 정책이 작성되는 방식의 변화를 제안합니다. 그들은 광범위한 일률적 규칙에서 벗어나, 연구 작업을 공개의 필요성에 따라 분류하는 시스템으로 이동할 것을 제안합니다. 그들은 컨퍼런스가 실험 설계와 같이 위험도가 높은 작업은 공개를 의무화하고, 참고 문헌 형식 맞추기와 같이 위험도가 낮은 작업은 선택 사항으로 표시하는 명확한 목록을 만들 것을 권고합니다. 저자들이 이를 쉽게 수행할 수 있도록, 그들은 저자들이 작성할 수 있는 간단한 템플릿도 설계했습니다. 이 템플릿은 AI가 어떤 작업을 도왔는지, 인간의 감독이 얼마나 개입되었는지, 그리고 저자들이 최종 작업에 대해 전적인 책임을 진다는 점을 명시적으로 밝히도록 유도합니다. 목표는 도움이 되는 도구의 사용을 처벌하는 것이 아니라, 인간 연구자와 기계 사이의 관계를 명확하고 정직하며 신뢰할 수 있게 만드는 것입니다. 규칙을 실제 과학 공동체의 기대치와 일치시킴으로써, 연구 과정에 이러한 새로운 도구들이 가져오는 진정한 이점을 억누르지 않으면서도 투명성을 유지할 수 있기를 희망합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.