"Abuse Risks are Often Inherent to Product Features": Exploring AI Vendors' Bug Bounty and Responsible Disclosure Policies
이 논문은 264개 AI 벤더의 취약점 공개 정책을 분석하여, 많은 기업이 명확한 가이드라인이 부족하거나 탈옥 및 환각과 같은 중요한 AI 특화 리스크를 명시적으로 제외하고 있음을 밝히며, 세 가지 뚜렷한 벤더 프로필을 식별하고 현재의 산업 관행과 실제 AI 사고의 시급성 사이의 상당한 격차를 강조한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
인공지능(AI)의 세계를 매일 새로운 마법 같은 도구들을 만들어내고 있는 거대하고 북적이는 도시라고 상상해 보세요. 어떤 도구는 이야기를 쓸 수 있고, 어떤 도구는 질병을 진단할 수 있으며, 어떤 도구는 자동차를 운전할 수도 있습니다. 하지만 새로운 기술에는 항상 그 기초에 균열, 즉 **취약점(vulnerabilities)**이 존재하기 마련입니다.
일반적인 소프트웨어 도구가 고장 나면 이를 해결하기 위한 잘 확립된 시스템이 있습니다. 바로 **버그 바운티 프로그램(Bug Bounty Programs)**입니다. 이것을 "현상 수배 전단"이라고 생각하면 쉽습니다. 기업들은 누군가 담벼락에 구멍을 찾아내어 도둑이 몰래 들어오는 대신 자신들에게 알려줄 경우 보상(돈)을 주겠다고 공고를 올립니다.
이 논문은 AI 기업들이 이 새로운 종류의 균열들을 처리할 준비가 얼마나 되어 있는지에 대한 성적표입니다. 에든버러 대학교의 연구진은 264개의 다양한 AI 기업들을 조사하여, 이들이 이러한 새로운 종류의 균서들을 처리할 준비가 되었는지 확인했습니다.
연구 결과는 다음과 같이 알기 쉽게 정리되었습니다.
1. "침묵하는 다수"와 "불참자"
연구진은 36%의 AI 기업들이 "현상 수배 전단"을 전혀 게시하지 않았다는 사실을 발견했습니다.
- 비유: 가게에 가서 주인에게 "저기요, 앞문이 열려 있어요"라고 말하려는데, 주인에게는 우편함도 없고, 전화번호도 없고, "여기로 문제를 보고하세요"라는 표지판도 없는 상황을 상상해 보세요. 당신은 누구에게 알려야 할지 추측하거나, 최악의 경우 무시당할 수도 있습니다.
- 실제 상황: 이 기업들 중 **18%**만이 "우리는 AI 특화 문제에 대한 보고를 받습니다"라고 명시적으로 밝히고 있습니다. 나머지 기업들은 AI를 언급하지 않는 일반적인 규칙만을 가지고 있거나, 아예 침묵하고 있습니다.
2. 무엇을 "버그"로 간주하는가? (범위)
논문에 따르면 기업들은 무엇을 보상할 가치가 있는 "버그"로 볼 것인지에 대해 매우 까다롭게 선을 긋고 있었습니다.
- "보상하겠습니다" 목록 (In-Scope):
- 비유: 누군가 당신의 열쇠를 훔치거나, 자물쇠를 부수거나, 은행 금고에 몰래 들어온다면 그것은 범죄입니다.
- 실제 상황: 기업들은 데이터를 훔치거나, 시스템에 침입하거나, 비밀 AI 모델을 복제하는 것과 같은 일들에 대해서는 기꺼이 보상합니다. 이는 AI 내부에서 발생하는 전통적인 보안 범죄와 같습니다.
- "우리 문제가 아닙니다" 목록 (Out-of-Scope):
- 비유: 만약 당신이 로봇에게 시를 써달라고 했는데 로봇이 실수로 무례한 내용을 썼거나, 혹은 로봇이 환각 현상(hallucination, 지어낸 말을 하는 것)을 보인다면, 기업은 "그건 그냥 로봇이 생각하는 방식일 뿐, 고장 난 자물쇠가 아니다"라고 말합니다.
- 실제 상황: 기업들은 탈옥(Jailbreaking, AI가 규칙을 어기도록 속이는 행위), 환각(AI가 거짓말을 하는 것), 또는 **유해한 출력(AI가 무례하게 굴거나 거짓을 퍼뜨리는 것)**에 대한 보고를 자주 거절합니다. 이들은 종종 이러한 현상들이 제품의 "고유한 특징"이지 버그가 아니라고 주장합니다.
3. 세 가지 유형의 AI 기업
연구진은 264개의 기업을 세 가지 뚜렷한 "성격"으로 분류했습니다.
- 🌟 선제적 명시형 (17%):
- 누구인가: 구글, 마이크로소프트, 메타와 같은 대형 플레이어들입니다.
- 무엇을 하는가: "우리가 무엇에 보상할 것인지, 무엇에 보상하지 않을 것인지, 그리고 보상액이 얼마인지"를 명확하게 밝힙니다. 심지어 AI를 안전하게 테스트하는 방법 가이드도 제공합니다. 이들은 AI 버그를 심각하고 별개인 카테고리로 취급합니다.
- 🤐 침묵형 (44%):
- 누구인가: 주로 AI를 사용하는 앱들(예: 고객 서비스 앱의 챗봇)입니다.
- 무엇을 하는가: "현상 수배 전단"은 있지만, 그것은 구식 소프트웨어를 위해 작성된 것입니다. AI에 대해서는 전혀 언급하지 않습니다. 만약 당신이 AI 버그를 발견한다면 그들이 수정할 수는 있겠지만, 당신이 보상을 받을 자격이 있는지, 혹은 그들이 어떻게 판단할지는 알려주지 않습니다. 이는 마치 매니저가 뒷방에 들어가 있어서 나와서 대화하려고 하지 않는 가게에 들어간 것과 같습니다.
- 🚫 제한적 유형 (39%):
- 누구인가: 소규모 벤더나 번거로움을 피하고 싶어 하는 기업들입니다.
- 무엇을 하는가: 연락 방법이 아예 없거나, "우리는 AI 버그 보고를 받지 않습니다"라고 명시적으로 말합니다. 이들은 "만약 당신이 우리 AI를 망가뜨리려 한다면, 우리는 보상하지 않을 것이며 오히려 화를 낼 수도 있다"라고 말할 수도 있습니다.
4. "지연(Lag)" 문제
논문은 산업계의 반응 속도에서 상당한 시간 차이, 즉 "지연"이 발견되었다고 밝혔습니다.
- 비유: 과학자들이 실험실에서 새로운 형태의 다리가 불안정하다는 것을 발견합니다 (학술 연구). 그다음, 사람들이 다리에서 떨어지기 시작합니다 (실제 사건 발생). 마지막으로 몇 년이 지난 후에야 다리 제조사가 안전 매뉴얼을 업데이트하여 "네, 이 다리는 불안정합니다. 보고하는 방법은 이렇습니다"라고 말합니다 (벤더 정책).
- 실제 상황: 학술 연구자들은 수년 전부터 AI의 약점을 연구해 왔습니다. 현실 세계에서 AI와 관련된 사고들도 오랫동안 발생해 왔습니다. 하지만 AI 기업들은 이제서야 (주로 2023년과 2024년에) 이러한 특정 문제들을 인정하기 위해 공식적인 규칙을 업데이트하기 시작했습니다. 이들은 연구자들과 실제 사고보다 느리게 반응하고 있습니다.
5. 커다란 괴리
대중이 걱정하는 것과 기업이 신경 쓰는 것 사이에는 불일치가 존재합니다.
- 대중의 공포: 사람들은 주로 AI가 무례하게 굴거나, 거짓 정보를 퍼뜨리거나(오정보), 편향된 태도(차별)를 보이는 것을 걱정합니다. 이것들은 "콘텐츠 안전(Content Safety)" 문제입니다.
- 기업의 초점: 기업들은 주로 해커가 코드나 데이터를 훔치는 것과 같은 "기술적 보안(Technical Security)" 문제를 걱정합니다.
- 결과: 만약 당신이 AI가 혐오 표현을 퍼뜨리고 있다고 보고한다면, 기업은 "그것은 보안 버그가 아니라 안전 문제이며, 우리는 그것에 대해 보상하지 않습니다"라고 말할 수 있습니다. 하지만 만약 해커가 AI의 두뇌를 훔쳤다고 보고한다면, 그들은 당신에게 많은 돈을 지불할 것입니다.
요약
이 논문은 AI 산업이 빠르게 성장하고 있지만, 그 "안전망"(버그 바운티 프로그램)은 여전히 짜여지고 있는 중이라고 결론짓습니다. 아직 짜기 시작조차 하지 않은 기업들도 많으며, 짜고 있는 기업들도 주로 도둑을 잡는 데 집중하고 있을 뿐, AI가 무례하거나 틀릴 수 있다는 점을 고치는 데는 관심이 없습니다. 연구진은 AI가 진정으로 안전해지려면, 기업들이 이러한 "무례한 AI" 문제를 단순히 "특징"으로 취급하는 것을 멈추고, 보고하고 수정해야 할 "버그"로 취급해야 한다고 제안합니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.