A Closer Look at the Existing Risks of Generative AI: Mapping the Who, What, and How of Real-World Incidents
본 논문은 499 건의 실제 사고를 체계적으로 분석하여 대부분의 피해가 최종 사용자를 넘어선 이해관계자에게 영향을 미치는 사용 관련 문제에서 비롯됨을 밝힘으로써 생성형 AI 실패에 대한 새로운 분류 체계를 제시하고, 이를 통해 생성형 AI의 위험 지형을 기존 AI 와 구별하며 공개, 교육, 규제와 같은 비기술적 완화 전략을 옹호한다.
원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기
생성형 AI 를 텍스트, 이미지, 오디오, 비디오를 즉시 생산할 수 있는 초고성능의 초창의적 공장으로 상상해 보세요. 그것은 잠들지 않는 마법의 인쇄기와 같습니다. 하지만 어떤 강력한 공장이라도 그렇듯, 그것은 단순히 상품을 생산할 뿐만 아니라 '사고'와 '혼란'도 생산합니다.
이 논문은 본질적으로 이 공장에서 발생한 499 건의 실제 사고에 대한 법의학 조사입니다. 연구자들 (카네기 멜론 대학교 소속) 은 단순히 무엇이 잘못될 수 있는지 추측한 것이 아니라, 경찰 보고서, 뉴스 기사, 그리고 공개된 불만 사항의 방대한 더미를 분석하여 정확히 무슨 일이 발생했는지, 누가 피해를 입었는지, 그리고 그 이유는 무엇인지 매핑했습니다.
다음은 그들의 발견 사항을 간단한 용어로 정리한 것입니다:
1. 큰 놀라움: '방관자' 문제
대부분의 안전 이야기에서는 피해를 입는 사람이 도구를 사용하는 사람이라고 가정합니다. 당신이 부주의하게 차를 운전하면, 당신이 사고를 냅니다.
하지만 생성형 AI 의 경우, 연구자들은 종종 그 반대 현상이 발생한다는 것을 발견했습니다.
- 비유: 파티에 있다고 상상해 보세요. 당신은 친구의 재미있는 그림을 그리기 위해 마법의 붓을 사용하기로 결정합니다. 당신 (사용자) 은 그것이 매우 우스꽝스럽다고 생각합니다. 하지만 그림 속의 사람 (방관자) 은 이제 온 마을의 조롱을 받거나 평판이 망가집니다.
- 발견: 연구에 따르면 대부분의 피해는 AI 를 사용하는 사람에게 발생하지 않았습니다. 그것은 그와 전혀 관련이 없는 사람들, 즉 낯선 사람, 지역사회, 또는 사회 전체에게 발생했습니다. '사용자'들은 종종 이익 (재미, 생산성) 을 얻은 반면, '비사용자'들은 멍 (사기, 신원 도용, 혼란) 을 얻었습니다.
2. 두 가지 주요 범인: '오작동' 대 '악당'
연구자들은 이러한 사고가 발생한 이유를 두 가지 주요 범주로 분류했습니다:
- 오작동 (기술적 실패): 때로는 AI 가 단순히 잘못 이해합니다. 환각 (사실 조작) 을 보이거나 혼란을 겪거나 규칙을 따르지 못합니다.
- 누가 피해를 입나요? 보통 AI 를 사용하는 사람입니다. 예를 들어, 변호사가 AI 를 사용하여 법원 변론서를 작성하고, AI 가 가짜 판례를 만들어내면 변호사가 곤란에 처합니다.
- 악당 (악의적 사용): 이것이 가장 큰 놀라움입니다. 해악의 가장 흔한 원인은 AI 가 고장 난 것이 아니라, 사람들이 정상적으로 작동하는 AI 를 고의로 나쁜 일을 하기 위해 사용한 것이었습니다.
- 누가 피해를 입나요? 거의 항상 방관자들입니다.
- 예시: 폭동을 유발하기 위해 정치인의 가짜 딥페이크 영상을 만들거나, 동급생을 괴롭히기 위해 가짜 나체 이미지를 생성하는 사람. AI 는 설계된 대로 정확히 작동했습니다; 문제의 핵심은 그 뒤에 있는 인간이었습니다.
3. '누가, 무엇을, 어떻게' 지도
이 논문은 이러한 사건들을 조직화하기 위한 새로운 지도 (분류 체계) 를 구축했습니다:
- 무슨 일이 발생했는지 (피해): 가장 흔한 피해 유형은 사람들의 자율성 (속임수나 사칭), 정치/경제 (선거나 시장을 뒤흔드는 가짜 뉴스), 그리고 평판 (명예훼손) 에 대한 것이었습니다.
- 어떻게 발생했는지 (실패 모드): 가장 빈번한 원인은 악의적 사용 (의도적인 악행자) 이었습니다. 두 번째로 흔한 것은 미공개 사용 (학생이 시험을 치거나 잡지가 AI 스팸으로 넘쳐나는 등, 인간이 수행해야 할 일을 할 때 AI 를 사용하는 것) 이었습니다.
- 누가 피해를 입었나요: 앞서 언급했듯이, '상호작용하지 않는' 사람들 (대중, 딥페이크 피해자) 이 피해의 대부분을 감당했습니다.
4. 왜 현재 규칙이 작동하지 않는가
이 논문은 우리가 안전에 대해 생각하는 현재의 방식이 깨져 있다고 주장합니다. 왜냐하면 그것은 도구를 사용하는 사람만이 보호받아야 한다고 가정하기 때문입니다.
- 비유: 그것은 자신의 엄지손가락을 치지 않는 방법만 알려주고 이웃을 치지 않는 방법에 대해서는 아무 말도 하지 않는 망치용 안전 매뉴얼과 같습니다.
- 현실: AI 를 사용하는 사람들은 종종 결과 (피해자가 겪는 것) 를 겪지 않기 때문에, 조심할 동기가 없습니다. '이익'은 사용자에게 돌아가지만, '위험'은 낯선 사람에게 돌아갑니다.
5. 우리는 무엇을 해야 할까요?
저자들은 이 혼란을 해결하기 위해 세 가지 주요 사항을 제안합니다. 더 나은 코드보다는 사람과 규칙에 초점을 맞춥니다:
- 사람들을 가르치기 (AI 리터러시): 우리는 일반 대중에게 이 '공장'이 어떻게 작동하는지 가르쳐야 합니다. 사람들이 AI 가 거짓말 (환각) 을 하거나 사기에 사용될 수 있음을 이해한다면, 맹목적으로 신뢰하지 않을 것입니다. 이는 무지에서 비롯된 일부 '사고'를 막습니다.
- '오픈 소스'의 야생 서부 규제: 이 논문은 가짜 나체 이미지를 생성하는 앱과 같은 최악의 도구들이 누구나 다운로드하고 수정할 수 있는 '오픈 소스' 모델 위에 구축되어 있다고 지적합니다. 현재의 규칙은 이러한 도구들이 거의 제한 없이 존재하도록 허용합니다. 저자들은 '악당'들이 무기를 제작하지 못하도록 하기 위해 여기서 더 엄격한 규칙이 필요하다고 제안합니다.
- '종이 흔적' 추적 (출처 증명): 무엇이 진실이고 무엇이 AI 인지 구별할 수 있는 더 나은 방법이 필요합니다. AI 콘텐츠를 태그 (예: 'AI 제작' 라벨) 하고 가짜를 탐지할 수 있다면, 사기꾼들이 거짓말을 퍼뜨리거나 딥페이크가 평판을 망치는 것이 더 어려워집니다.
결론
생성형 AI 는 가끔 고장 나는 도구가 아닙니다. 그것은 종종 인간들에 의해 무장화되어 그것을 원치도 않는 사람들을 해치기 위해 사용됩니다. 해결책은 AI 를 더 '똑똑하게' 만드는 것만이 아닙니다. 그것은 우리가 그것을 규제하는 방식을 바꾸고, 대중이 속임수를 알아차리는 법을 가르치며, 기술을 사용하는 사람들만이 보호받아야 하는 것이 아니라는 사실을 깨닫는 것에 관한 것입니다.
연구 분야의 논문에 파묻히고 계신가요?
연구 키워드에 맞는 최신 논문의 일일 다이제스트를 받아보세요 — 기술 요약 포함, 당신의 언어로.