When AI Fails, What Works? A Data-Driven Taxonomy of Real-World AI Risk Mitigation Strategies

이 논문은 9,705 건의 미디어 보고된 AI 사고 데이터를 분석하여 기존 MIT 위험 완화 분류 체계를 4 가지 새로운 카테고리와 67% 확장된 레이블로 보완한 데이터 기반의 실증적 분류 체계를 제시함으로써, 고위험 환경에서의 AI 시스템 실패를 진단하고 대응하는 체계를 강화합니다.

핵심

이 논문은 **"인공지능 (AI) 이 실수를 했을 때, 실제로 어떤 해결책이 효과가 있을까?"**라는 질문에 답하기 위해 쓴 연구입니다.

기존의 연구들은 "AI 가 왜 틀렸는지"만 분석하거나, 이론적으로 "어떻게 고쳐야 할지"만 이야기했습니다. 하지만 이 연구는 **"실제로 세상이 얼마나 큰 혼란을 겪었고, 기업과 정부가 어떻게 대응했는지"**를 9,700 여 개의 뉴스 기사를 분석해 찾아냈습니다.

이 복잡한 내용을 누구나 이해할 수 있도록 비유와 이야기로 설명해 드릴게요.

---

1. 문제: "완벽한 로봇"은 없다, 하지만 "시스템"이 무너질 수 있다

과거에는 AI 가 실수하면 "그 로봇이 고장 났구나"라고 생각했습니다. 하지만 요즘 AI(특히 거대한 언어 모델) 는 우리 사회의 중요한 곳 (병원, 은행, 법원) 에 깊숙이 들어와 있습니다.

• 비유: AI 를 **유능하지만 가끔 망각하는 '초고속 배달 기사'**라고 상상해 보세요.
  • 과거에는 기사가 길을 잘못 들면 그 배달만 실패했습니다.
  • 하지만 지금은 이 기사가 전체 물류 시스템, 은행 계좌, 심지어 법원 서류까지 처리합니다.
  • 그래서 기사가 한 번 실수하면 (예: 엉뚱한 약을 배달하거나, 거짓 법률 문서를 작성하면), 그 파장은 개별 실수를 넘어 **시스템 전체가 무너지는 '대재앙'**으로 이어집니다.

이 논문은 바로 이런 **'시스템 전체의 붕괴'**를 막기 위해 실제로 어떤 조치가 취해졌는지 분석했습니다.

2. 방법: "수천 개의 뉴스"를 모아 레시피를 만들다

연구진들은 MIT(미국 매사추세츠 공대) 와 OECD(경제협력개발기구) 같은 기관이 모은 9,705 개의 AI 사고 뉴스를 모두 읽었습니다. 그리고 "이 사고가 났을 때, 사람들은 어떻게 대처했나?"를 찾아냈습니다.

• 비유: 마치 수천 개의 '화재 사고 보고서'를 모아 '소방 매뉴얼'을 새로 쓰는 것과 같습니다.
  • 기존 매뉴얼은 "불이 나면 물을 뿌려라" (이론) 정도였습니다.
  • 하지만 실제 화재 현장에서는 "불이 난 건물을 아예 폐쇄했다", "소방관에게 법적 처벌을 내렸다", "보험금을 지급했다" 등 훨씬 다양한 대응이 있었습니다.
  • 연구진은 이 실제 현장의 대응법을 정리해서 새로운 '대응 분류표 (Taxonomy)'를 만들었습니다.

3. 결과: 기존 분류표에 없는 '새로운 4 가지 대응법' 발견

기존의 분류표에는 기술적인 해결책 (예: 코드를 고치기) 이나 관리적인 해결책 (예: 감독 강화) 이 주를 이뤘습니다. 하지만 이 연구는 실제 뉴스에서 발견된 4 가지 새로운 대응법을 추가했습니다.

① "고치거나, 아예 막기" (Corrective & Restrictive Actions)

• 상황: AI 가 엉뚱한 말을 계속 내뱉거나, 위험한 기능을 켜고 있을 때.
• 대응: "그 기능을 끄거나, 아예 그 서비스를 중단해라!"
• 비유: 식당에서 요리사가 독이 든 요리를 계속 내놓으면, 그 요리를 메뉴에서 삭제하거나 (기능 제한), 아예 그 식당 문을 닫는 (서비스 중단) 것입니다.

② "법으로 다스리기" (Legal, Regulatory & Enforcement Actions)

• 상황: AI 가 저작권을 침해하거나, 사람을 속여 큰 피해를 입혔을 때.
• 대응: "법원에 소송을 걸거나, 정부가 벌금을 매겨라!"
• 비유: 배달 기사가 고객의 물건을 훔쳤다면, 경찰에 신고하거나 법원에서 형사 처벌을 받는 것입니다. 단순히 "죄송합니다"로 끝나는 게 아닙니다.

③ "돈으로 해결하기" (Financial, Economic & Market Controls)

• 상황: 피해자가 입은 금전적 손해를 보상하거나, 위험한 AI 를 시장에서 퇴출시킬 때.
• 대응: "배상금을 주거나, 그 회사의 주식을 시장에서 퇴출시켜라!"
• 비유: 사고를 낸 기사가 피해자에게 돈을赔偿하고, 더 이상 그 기사가 일할 수 있도록 '시장에서 퇴출'시키는 것입니다.

④ "부인하기" (Avoidance & Denial)

• 상황: 사고가 났는데, 회사가 책임을 지지 않으려 할 때.
• 대응: "우리가 잘못한 게 아니다, 법을 지켰다"라고 주장하며 책임을 회피하는 행위.
• 비유: 요리사가 "요리사가 아니라 손님이 잘못 먹은 거다"라고 책임 전가를 하거나, 아예 사고를 인정하지 않는 것입니다. 연구진은 이것도 하나의 '대응 패턴'으로 기록했습니다.

4. 왜 이 연구가 중요한가?

이 논문은 우리에게 중요한 교훈을 줍니다.

"AI 가 실수했을 때, 단순히 '코드를 고치는 것'만으로는 부족합니다. 법, 돈, 시장 규제, 그리고 때로는 책임을 회피하는 인간의 심리까지 모두 고려해야 합니다."

• 실제 사례:
  • 어떤 변호사는 AI 가 만든 거짓 판례를 제출했다가 벌금을 물었습니다. (법적 대응)
  • 에어캐나다는 챗봇이 고객에게 잘못된 환불 정책을 말해 소송을 당했고, 결국 챗봇을 아예 끄는 선택을 했습니다. (기술적 중단)
  • 어떤 뉴스사는 AI 가 쓴 기사가 사실과 달라 신뢰를 잃고 망했습니다. (시장적 영향)

5. 결론: "사고 후 수습"이 아니라 "사고 예측"으로

이 연구는 단순히 "무슨 일이 일어났나"를 나열하는 것을 넘어, **"다음에 이런 일이 생기면 어떻게 해야 할지"**에 대한 구체적인 지도를 제시합니다.

• 미래의 비전: 연구진은 이 분류표를 이용해 **AI 를 감시하는 '경비대 (AI 감시자)'**를 만들 것을 제안합니다.
  • 마치 건물의 소화전처럼, AI 가 실수하기 전에 위험 신호를 감지하고 자동으로 "그 기능을 멈춰라", "법적 조치를 취하라"는 명령을 내리는 시스템을 만드는 것입니다.

한 줄 요약:
이 논문은 "AI 가 실수하면 어떻게 해야 할까?"라는 질문에 대해, 단순한 기술 수정을 넘어 법, 경제, 규제까지 포함한 '실전 대응 매뉴얼'을 9,700 개의 뉴스 기사를 통해 새로 썼다는 이야기입니다.

기술 요약

1. 문제 정의 (Problem)

최근 대규모 언어 모델 (LLM) 은 의료, 금융, 법률 등 고위험 (High-stakes) 업무 환경에 광범위하게 통합되고 있습니다. 그러나 이러한 모델의 실패는 단순한 기술적 오류를 넘어 **시스템적 붕괴 (Systemic Breakdowns)**로 이어져 법적 책임, 평판 손상, 막대한 재정적 손실을 초래하고 있습니다.

기존의 AI 위험 관리 프레임워크 (예: MIT AI Risk Repository, NIST RMF 등) 는 주로 모델 개발자 관점의 이론적 위험이나 기술적 결함에 집중하는 경향이 있습니다. 그러나 실제 사고 발생 후 조직이 취하는 **구체적인 대응 및 완화 조치 (Mitigation Actions)**를 체계적으로 분류하고, 이를 실제 사고 패턴과 연결하는 통합된 분류 체계가 부족했습니다. 이로 인해 기업들은 사고가 발생한 후 대응하는 '반응적 (Reactive)' 태도를 취할 수밖에 없으며, 예방적이고 회복력 있는 AI 시스템을 구축하는 데 한계가 있었습니다.

2. 방법론 (Methodology)

이 연구는 실세계에서 발생한 9,705 건의 AI 사고 관련 뉴스 기사를 분석하여 데이터 기반의 새로운 분류 체계를 구축했습니다. 주요 방법은 다음과 같습니다.

• 데이터 수집 및 통합:
  • MIT AI Incident Tracker, OECD AI Incidents Monitor, AIAAIC Repository 등 3 개의 주요 데이터 소스를 통합하여 총 9,705 개의 미디어 보고 기사를 확보했습니다.
  • 데이터의 일관성을 확보하기 위해 자동 웹 스크래핑과 수동 검증을 병행하여 LLM 및 생성형 AI 와 관련된 명확한 실패 사례를 선별했습니다.
• 구조화된 프롬프트를 통한 정보 추출:
  • GPT-5-mini 모델을 활용하여 각 기사 텍스트에서 명시적으로 언급된 '완화 조치 (Mitigation Actions)'를 추출했습니다.
  • 총 9,705 개 중 6,893 개의 텍스트에서 완화 조치를 성공적으로 추출했습니다.
• 분류 체계 확장 (Taxonomy Extension):
  • 추출된 조치들을 기반으로 기존 MIT AI Risk Mitigation Taxonomy 를 확장했습니다.
  • 3 단계 프로세스:
    1. 추출: 프롬프트 엔지니어링을 통해 각 사고별 조치 추출.
    2. 도출: 추출된 조치들을 클러스터링하여 새로운 하위 범주 (Subcategories) 도출.
    3. 최종화: 기존 MIT 분류 체계와 비교 분석 후, 일치하지 않는 새로운 패턴을 기반으로 4 개의 새 주요 범주와 2 개의 새 하위 범주를 정의하여 통합.
• 레이블링 및 검증:
  • 최종적으로 32 개의 고유한 레이블을 사용하여 23,994 개의 레이블 할당을 수행했습니다.
  • 연구자들이 무작위 샘플 (300 건) 을 수동으로 검토하여 분류의 정확성과 일관성을 검증했습니다.

3. 주요 기여 (Key Contributions)

이 논문의 가장 큰 기여는 **실제 사고 데이터를 기반으로 한 새로운 완화 전략 분류 체계 (Taxonomy)**를 제안했다는 점입니다.

• 4 가지 새로운 완화 범주 도입: 기존 이론적 분류에 실세계에서 빈번하게 나타나는 4 가지 새로운 주요 범주를 추가했습니다.
  1. 시정 및 제한 조치 (Corrective & Restrictive Actions): 시스템 기능 제한, 서비스 중단, 배포 일시 정지 등.
  2. 법적/규제 및 집행 조치 (Legal, Regulatory & Enforcement Actions): 소송, 형사 절차, 규제 기관의 조사 및 벌금 등.
  3. 재정, 경제 및 시장 통제 (Financial, Economic & Market Controls): 배상금, 세금, 시장 접근 제한, 계약 금지 등.
  4. 회피 및 부인 (Avoidance & Denial): 책임 부인, 법적 방어 주장, 시스템 폐기 거부 등 (위험을 직접 해결하기보다 책임을 회피하는 전략).
• 2 가지 새로운 하위 범주 추가:
  • 기존 '운영 프로세스 통제'에 사고 조사 (Incident Investigation) 추가.
  • 기존 '투명성 및 책임 통제'에 교육 및 지원 조치 (Training & Supportive Measures) 추가.
• 범위 확장: 기존 MIT 분류 체계의 하위 범주 커버리지를 67% 증가시켰으며, 이전에 관찰되지 않았던 9,629 개의 새로운 완화 패턴을 식별했습니다.

4. 결과 (Results)

• 데이터 규모: 6,893 개의 사고 텍스트에서 23,994 개의 완화 조치 레이블을 생성했습니다. 이 중 9,629 개는 기존 분류에 없던 새로운 패턴이었습니다.
• 산업 및 재정적 영향 분석:
  • 법적/재정적: AI 가 생성한 허위 판례 인용으로 변호사들이 제재를 받거나 (수천 달러의 벌금), 기업들이 막대한 배상금과 소송 비용을 치른 사례가 확인되었습니다.
  • 사회적/개인적: 자해 계획 생성, 허위 이미지 생성, 개인정보 유출 등으로 인한 심각한 윤리적 피해와 신뢰 손상이 발생했습니다.
  • 기업적 영향: Alphabet 의 시가총액 급락, Air Canada 의 챗봇 운영 중단 등 기술적 실패가 기업의 신뢰도와 시장 가치에 직접적인 타격을 입혔음을 확인했습니다.
• 분류의 안정성: 서로 다른 프롬프트를 사용했을 때 레이블 분포가 1~3% 이내로 일관되게 유지되어 분류 체계의 안정성을 입증했습니다.

5. 의의 및 결론 (Significance & Conclusion)

• 진단에서 처방으로 (Diagnosis-to-Prescription): 이 연구는 단순히 사고를 나열하는 것을 넘어, 특정 유형의 시스템적 실패에 대해 실제로 작동하는 구체적인 완화 전략을 매핑하여 '진단 - 처방' 가이드라인을 제공합니다.
• 시스템적 관점의 정립: AI 실패가 모델 자체의 결함뿐만 아니라 데이터 파이프라인, 운영 프로세스, 거버넌스 등 전체 시스템의 상호작용에서 비롯됨을 강조하며, 이에 대한 종합적인 대응이 필요함을 시사합니다.
• 미래 방향: 제안된 분류 체계는 향후 **감시형 AI 에이전트 (Supervisory AI Agents)**를 개발하는 데 기초가 될 수 있습니다. 이는 배포 후 시스템의 행동을 실시간으로 모니터링하고, 초기 위험 신호를 탐지하여 분류 체계에 기반한 예방적 조치를 취하는 'Defense-in-depth' 모델로 이어질 수 있습니다.

결론적으로, 이 논문은 실세계 데이터를 기반으로 AI 위험 관리의 이론적 프레임워크를 실용적이고 확장 가능한 체계로 발전시켰으며, 고위험 환경에서의 AI 배포 시 조직이 취해야 할 체계적인 대응 전략을 제시했다는 점에서 중요한 의의를 가집니다.