LLM Harms: A Taxonomy and Discussion

기술 요약: LLM 해악: 분류 체계 및 논의

문제 제기
의료, 금융, 교육, 창의 산업 전반에 걸친 대규모 언어 모델 (LLM) 의 급속한 도입은 관련 위험을 분류하고 완화하기 위한 통합 프레임워크의 개발 속도를 앞지르고 있다. 기존 문헌은 사전 학습 단계의 개인정보 유출부터 극단주의 콘텐츠 생성 및 경제적 대체에 이르기까지 구체적인 해악을 다루고 있으나, 이러한 위험들은 여전히 단편적으로 남아있다. 통합된 기반의 부재는 책임성, 투명성, 그리고 편향의 효과적 극복을 저해한다. furthermore, 실제 사고 기록 보관소는 AI 실패 사례의 증가를 보여주며, 사전 개발부터 하류 배포에 이르는 AI 응용 프로그램의 전체 수명 주기에 걸친 해악의 체계적 분류가 필요함을 시사한다.

방법론
본 연구는 PRISMA-2020 체크리스트에 부합하는 체계적 검토 방법론을 적용하였다. 저자들은 2021 년 1 월부터 2025 년 6 월까지 발표된 문헌을 대상으로 구글 스칼라, IEEE Xplore, ACM DL 등을 포함한 다중 데이터베이스 검색을 수행하였다. 검색 전략은 '대규모 언어 모델', '기반 모델'과 같은 앵커 용어를 사전 배포, 직접 출력, 오용, 체계적이라는 특정 해악 축과 결합하여 사용하였다. 초기 1,986 건의 기록과 24 건의 수동 시드 논문에서 출발하여, 최종적으로 200 건의 연구를 선별 및 코딩하였다. 각 연구는 해악 유형, 심각도, 발생 빈도, 완화 주장에 대해 분석되었다. 이 정량적 종합은 안전 엔지니어 및 정책 입안자 10 명과의 전문가 인터뷰로 보완되었다. 연구 범위는 파라미터가 70 억 이상인 텍스트 기반 LLM 으로 제한되었으며, 비전 - 언어 하이브리드 및 소규모 도메인 특화 모델은 제외되었다.

주요 기여: 해악의 수명 주기 분류 체계
본 연구의 주요 기여는 다섯 가지 명확한 범주로 구성된 포괄적인 개발 타임라인 기반 LLM 해악 분류 체계이다:

1. 사전 배포 해악:

   • 학습 데이터 해악: 민감한 데이터의 암기 (기억) 로 인한 개인정보 침해, 동의 부재, 그리고 웹 규모 코퍼스 내에 내재된 역사적 편향과 혐오 표현의 재생산을 포함한다.
   • 환경 및 자원 해악: 학습 및 추론에 따른 상당한 탄소 발자국, 냉각을 위한 물 소비, 그리고 하드웨어 제조 (예: 코발트 채굴) 의 공급망 영향을 다룬다.
   • 개발 단계의 노동 및 경제적 해악: 저임금으로 종사하는 데이터 주석 작업자의 착취, 콘텐츠 심사자의 심리적 고통, 그리고 소수 기술 대기업 내 R&D 자원의 집중을 강조한다.

2. 직접 출력 해악:

   • 표현적 해악: 인구통계학적 편향, 고정관념, 그리고 소수자 관점 및 방언 (예: 아프리카계 미국인 구어체 영어) 의 왜곡을 포함한다.
   • 콘텐츠 기반 해악: 유해 콘텐츠 생성, 허위 정보, 그리고 개인정보를 침해하는 출력을 포함한다.
   • 품질 및 신뢰성 해악: 할루시네이션, 사실적 오류, 일관성 없는 추론, 그리고 잘못된 답변에 대한 과도한 확신을 다룬다.

3. 오용 및 악의적 적용 해악:

   • 고의적 유해 콘텐츠 생성: 대규모로 혐오 표현, 괴롭힘 도구, 극단주의 선전을 생성하기 위해 LLM 을 사용하는 행위.
   • 기만적 관행: 학문적 부정행위, 사기, 사기 지원, 그리고 딥페이크 텍스트 생성을 용이하게 하는 행위.
   • 보안 및 개인정보 공격: 프롬프트 인젝션 취약점, 데이터 추출 공격 (학습 데이터 복구), 그리고 사회공학적 기법 강화 등을 포함한다.

4. 사회적 및 체계적 해악:

   • 경제적 교란: 일자리 대체, 임금 양극화, 그리고 '슈퍼스타' 기업으로의 생산성 향상 집중.
   • 민주주의 및 사회적 해악: 정보 생태계 조작, 정치적 편향 증폭, 그리고 봇 네트워크와 '회색' 콘텐츠를 통한 공적 담론의 저하.
   • 권력 및 접근 불평등: 컴퓨팅 자원의 집중으로 인한 기술 격차 심화, 이는 소규모 행위자와 글로벌 남부 지역에 진입 장벽을 조성한다.

5. 하류 응용 해악:

   • 고위험 의사결정: 의료 (진단 오류), 금융 (할루시네이션 기반 조언), 그리고 형사 사법 (리스크 점수 산정 시 편향 증폭) 분야의 위험.
   • 교육 시스템 영향: 비판적 사고 능력의 약화, 평가 무결성 문제, 그리고 '사고 위축' 효과.
   • 전문 및 창의적 작업: 지적 재산권 침해, 인간 창의적 노동의 가치 하락, 그리고 전문성 훼손.

결과 및 분석
분석 결과, 해악 군집은 고립된 것이 아니라 상호 의존적임이 드러났다. 예를 들어, 개인정보를 침해하는 학습 데이터는 직접 출력 편향을 야기하며, 이는 이후 재브레이크 (jailbreak) 를 통해 무장화될 수 있다. 연구는 기술적 완화 조치 (예: 레드팀링, 정렬 튜닝, 검색 증강 생성) 가 노골적인 유해 출력과 같은 특정 실패를 줄였으나, 미묘한 편향과 할루시네이션은 지속되고 있음을 발견하였다. 거버넌스 대응은 현재 단편화되어 있으며, EU AI 법은 구속력 있는 의무를 부과하는 반면 미국은 주로 자발적 프레임워크에 의존하고 있다.

중요한 발견은 다중 에이전트 LLM 생태계에서 새로운 해악 범주의 등장이다. 여기서 재귀적 실패와 등장하는 집단적 행동 (예: 에이전트들이 서로의 할루시네이션을 강화함) 은 단일 모델 분류 체계로 다루어지지 않는 위험을 생성한다. 종단적 증거는 초기 해악 (예: 노골적인 모욕적 표현) 은 필터링으로 인해 감소했으나, LLM 이 사회에 더 깊이 통합됨에 따라 체계적 및 오용 관련 해악은 증가하고 있음을 시사한다.

의의 및 향후 방향
본 논문은 엄격한 레드팀링, 정렬 튜닝, 샌드박스화된 도구 사용, 지속적 모니터링을 강제적 투명성 및 컴퓨팅 할당 규칙과 결합한 '층상 방어'가 필수적이라고 주장한다. 이러한 통합 없이는 LLM 의 생산성 혜택이 개인정보 침해, 허위 정보의 연쇄 반응, 그리고 심화되는 불평등에 가려질 위험이 있다고 본다.

저자들은 다음을 옹호한다:

• 동적 감사: 새로운 형태의 혐오 표현이나 프롬프트 공격과 같은 신흥 문제를 식별하기 위한 지속적이고 실시간인 모니터링 시스템.
• 학제 간 협력: 해악의 사회문화적 맥락을 해결하기 위해 윤리학자, 사회과학자, 도메인 전문가를 AI 개발 루프에 통합.
• 컴퓨팅 거버넌스: 모델 능력을 구동하는 상류 자원을 관리하기 위한 규제 체계 (예: FLOPs 에 대한 배출권 거래제) 탐색.
• 벤치마크 진화: 모델 능력과 함께 진화하고 실제 사고 데이터를 포함하는 동적이고 개방적인 벤치마킹 플랫폼 개발.

궁극적으로 본 연구는 LLM 이 사회적 이익을 위한 상당한 잠재력을 지니고 있으나, 이러한 잠재력을 실현하기 위해서는 과거 사고와 ongoing 연구를 기반으로 한 가드레일을 통해 혁신을 이끄는 사전적이고 다각적인 해악 최소화 접근이 필요하다고 결론 내린다.