AI Policy, Disclosure, and Human in the Loop: How Are Contribution Guidelines Adapting to GenAI?
1,000개의 GitHub 저장소를 대상으로 한 이 실증적 연구는, 대다수의 오픈 소스 프로젝트가 이제 AI 지원 기여를 허용하고 있지만, 대부분은 AI 사용 공개와 개발 과정에서의 인간 감독 유지를 위한 엄격한 요구 사항을 집행하고 있음을 밝히고 있다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
소프트웨어 개발의 세계를 수백만 명의 사람들이 '오픈 소스'라는 거대한 공유 고층 빌딩을 끊임없이 짓고, 고치고, 확장해 나가는 거대하고 북적이는 도시라고 상정해 봅시다. 오랫동안 이 도시는 단순한 규칙에 따라 운영되었습니다. 만약 새로운 방을 추가하거나 깨진 창문을 고치고 싶다면, 당신이 직접 그 일을 수행해야 하며, 도시의 자원봉사 검사관들(이하 '메인테이너')이 당신의 설계도가 안전한지 확인해야 한다는 규칙 말입니다. 하지만 최근, 새로운 종류의 건설팀이 도착했습니다: 바로 생성형 AI입니다. 이들을 초고속으로 설계도를 작성할 수 있는 마법 같은 로봇이라고 생각해 보십시오. 이는 꿈처럼 들리지만, 약간의 교통 정체를 만들어냈습니다. 로봇들은 너무 빨라서 매일 수천 개의 새로운 설계도로 도시를 뒤덮고 있으며, 이는 인간 검사관들을 압도하고 있습니다. 로봇이 작성한 설계도 중 일부는 아주 훌륭하지만, 다른 것들은 'AI 슬롭(AI slop)'—언뜻 보기에는 괜찮아 보이지만 실제로 건축하려고 하면 무너져 내리는 지저로 품질이 낮은 초안—입니다. 이제 이 도시의 큰 질문은 더 이상 "우리가 지을 수 있는가?"가 아니라, "어떻게 하면 로봇이 건설 현장을 장악하게 두지 않으면서 도움을 받게 할 것인가?"입니다.
이 논문은 바로 그 질문을 탐구하기 위해 GitHub에서 가장 인기 있는 1,000개 소프트웨어 프로젝트의 '규칙집'(기여 가이드라인)을 살펴봅니다. 연구자들은 이 프로젝트들이 로봇 인력에 어떻게 적응하고 있는지 알고 싶어 했습니다. 그들은 대부분의 프로젝트가 로봇을 금지하는 것이 아니라, 대신 '휴먼 인 더 루프(Human-in-the-Loop, 인간 참여형)' 시스템을 구축하려 노력하고 있다는 것을 발견했습니다. 로봇이 콘크리트를 섞고 벽돌을 쌓을 수는 있지만, 인간 작업반장이 바로 옆에 서서 흙손을 쥐고 모든 단계를 이해하며, 그 작업이 건물 일부가 되기 전에 승인해야 하는 건설 현장을 상상해 보십시오. 이 연구는 AI를 언급한 118개의 구체적인 규칙집을 분석했으며, 명확한 패턴을 발견했습니다. 78%의 프로젝트가 "네, AI를 사용해도 됩니다"라고 말하면서도, 거의 예외 없이 두 가지를 요구한다는 점입니다. 첫째, 당신은 손을 들어 "나는 이것을 위해 로봇을 사용했습니다"라고 말해야 합니다(공시). 둘째, 당신(인간)이 로봇이 만든 것을 실제로 이해하고 있다는 것을 증명해야 합니다(휴먼 인 더 루프).
연구진은 51%의 프로젝트가 식품 포장지의 안전 라벨처럼 AI를 사용했을 때 이를 밝힐 것을 명시적으로 요구한다는 것을 발견했습니다. 그들은 검사관들이 "이 부분은 AI가 초안을 작성했으니, 다시 한번 확인해 주세요"라고 알기를 원합니다. 또 다른 27%는 AI를 허용하지만 이를 명시적으로 환영하지는 않으며, 더 적은 수의 그룹(22%)은 "로봇은 허용되지 않습니다. 우리는 100% 인간이 만든 코드를 원합니다"라고 말합니다. 그러나 가장 놀라운 발견은 74%의 프로젝트가 인간의 참여(human in the loop)를 강조한다는 것입니다. 이는 설령 로봇이 코드를 작성하더라도, 인간이 그것을 읽고, 이해하고, 그에 대한 모든 책임을 져야 함을 의미합니다. 이 논문은 이러한 인간의 감독이 없다면, 도시가 모두의 시간을 낭비하는 저품질 코드인 'AI 슬롭'으로 뒤덮일 위험이 있다고 제언합니다.
흥미롭게도, 논문은 많은 프로젝트가 이러한 규칙을 가지고 있지만, 그 지침이 때때로 다소 모호할 수 있다고 언급합니다. 어떤 규칙집은 "AI가 '상당한' 양의 작업을 수행했다면 공시하라"고 말하지만, '상당한' 것이 정확히 무엇을 의미하는지는 정의하지 않습니다. 이는 마치 선생님이 "계산기를 사용했다면 말해라"라고 말하면서, 그것이 수학 문제 한 개를 뜻하는지 아니면 시험 전체를 뜻하는지는 말해주지 않는 것과 같습니다. 저자들은 혼란을 피하기 위해 프로젝트들이 더 정밀해질 필요가 있다고 제안합니다. 또한, 일부 프로젝트가 저품질의 AI 제출물을 자동으로 차단함으로써 이를 막으려 하고 있지만, 이는 단순히 AI 도구를 사용하는 실제 인간 기여자들을 본의 아니게 짜증 나게 할 수도 있다고 경고합니다. 궁극적으로, 이 논문은 오픈 소스의 미래가 인간과 로봇 사이에서 하나를 선택하는 것이 아니라, 인간이 자동차를 운전하는 주체가 되어 로봇을 강력한 도구로서 확실히 활용하도록 만드는 데 있다고 결론짓습니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.