LLMs in the Real World: Evaluating "AI" in Emergency Contexts

큰 그림: 깨어나라는 외침

인공지능(AI) 연구의 세계를 아주 복잡하고 미래적인 다리를 설계하는 천재적인 건축가 집단이라고 상상해 보세요. 이 건축가들은 강철이 어떻게 만들어지는지, 어디에 약점이 있는지, 허리케인이 닥치면 어떤 일이 벌어지는지 정확히 알고 있습니다.

하지만 이 논문은 이 건축가들이 자신들의 탑 안에만 머물러 있다고 주장합니다. 반면, 실제로 이 다리를 만들고 그 위를 달리는 사람들(시 공무원, 경찰, 응급 구조대)에게는 "이 다리는 마법 같습니다! 누구에게나 잘 작동합니다!"라고 적힌 브로셔가 팔리고 있다는 것입니다.

저자인 사라 코트(Sara Court), 라라 다우닝(Lara Downing), 미카 엘스너(Micha Elsner)는 연구자들이 탑에서 내려와 대중과 대화하기를 촉구하고 있습니다. 그들은 "이것은 마법이다"라는 과장된 광고(hype)를 멈추고, 누군가 다치기 전에 실제 위험이 무엇인지 설명하기를 원합니다.

사례 연구: "마법의" 911 번역기

이 점을 증명하기 위해 저자들은 미국의 한 도시에서 일어난 실제 상황을 조사했습니다. 그 도시는 새로운 문자 기반 911(Text-to-911) 서비스를 도입했습니다.

• 약속: 시 당국은 당신이 55개의 서로 다른 언어로 911에 문자를 보낼 수 있다고 광고했습니다. 만약 영어를 못하더라도, 모국어로 문자를 보내면 컴퓨터가 즉시 이를 상담사에게 번역해 줄 것이라는 아이디어였습니다.
• 현실: 연구진은 이를 테스트하기 위해 911 센터를 방문했습니다. 그 결과, 이 시스템은 마치 날씨가 좋을 때만 작동하는 마법의 8번 구슬(Magic 8-ball) 같다는 것을 발견했습니다.

무엇이 잘못되었나:

1. "하나의 사이즈가 모두에게 맞는다"는 함정: 시스템은 "아랍어"를 지원한다고 주장했습니다. 하지만 아랍어에는 많은 방언이 있습니다. 이 시스템은 오직 현대 표준 아랍어(뉴스나 책에 쓰이는 격식 있는 언어)만을 이해했습니다. 만약 어떤 사람이 지역 방언이나 속어를 사용하여 문자를 보낸다면, 컴퓨터는 혼란에 빠집니다. 이는 1800년대 단어들로만 이루어진 사전을 사놓고, 그것으로 피자를 주문하려는 것과 같습니다.
2. 스크립트(문자 체계) 문제: 시스템은 "네팔어"를 지원한다고 주장했습니다. 하지만 시스템이 이해하는 네팔어 버전은 특정 스크립트(데바나가리 문자)로 작성되어 있었습니다. 그러나 해당 지역의 많은 난민은 휴대폰에 특수 키보드가 없기 때문에 라틴 알파벳(영어 글자)을 사용하여 네팔어를 표기합니다. 시스템은 이들의 문자를 전혀 읽지 못했습니다.
3. "블랙박스"의 미스터리: 911 센터 직원들은 소프트웨어가 어떻게 작동하는지 몰랐습니다. 그들에게는 매뉴얼도 없었고, 오류율이 얼마인지도 몰랐으며, 어떤 언어가 실제로 안전하게 사용 가능한지도 몰랐습니다. 그들은 계기판도 없고 브레이크도 없는 자동차를 운전하며, 엔진이 버텨주기만을 바라고 있었던 것입니다.

다섯 가지 큰 신화 (오해)

이 논문은 사람들이 AI에 대해 흔히 갖는 다섯 가지 거짓말을 지적합니다.

1. "AI"는 마법의 단어다: 사람들은 "AI"가 하나의 단일한 존재라고 생각합니다. 저자들은 이것이 모든 탈것을 "자동차"라고 부르는 것과 같다고 말합니다. 자전거, 대형 트럭, 로켓 모두 탈것이지만, 작동 방식은 매우 다릅니다. 자전거를 이용해 집 한 채를 옮길 수는 없습니다.
2. 초인적인 두뇌: 우리는 AI가 인간보다 똑똑하다고 생각합니다. 하지만 실제로는 인터넷 전체를 읽은 앵무새와 같습니다. 정보를 반복할 수는 있지만, 그것을 이해하는 것은 아닙니다. 긴급 상황에서 까다로운 질문을 던지면, AI는 자신 있게 틀린 답을 말할 수도 있습니다.
3. 언어는 쉽다: 사람들은 번역이 단순히 단어를 바꾸는 것이라고 생각합니다. 하지만 언어는 요리와 같습니다. "소금"을 "설탕"으로 바꾼다고 해서 케이크 맛이 같아지지 않습니다. 맥락, 어조, 문화가 중요합니다. 기계는 종종 메시지의 "풍미"를 놓칩니다.
4. 숫자는 거짓말을 하지 않는다: 기업들은 제품을 팔기 위해 높은 점수(예: 정확도 95%)를 내세웁니다. 하지만 저자들은 이 점수가 조용한 교실에서 치른 시험과 같다고 말합니다. 실제 세상의 소음, 스트레스, 오타가 존재하는 환경에서는 점수가 떨어집니다. 높은 점수가 곧 가장 중요한 순간에 시스템이 실패하지 않을 것임을 보장하지는 않습니다.
5. 기술이 모든 것을 해결한다: 이것은 "솔루셔니즘(Solutionism)"이라 불립니다. 문제가 있으면 고도의 기술 앱이 해결해 줄 것이라는 믿음입니다. 저자들은 때때로 최선의 해결책은 사람이라고 주장합니다. 비용을 아끼기 위해 전문 통역사를 저렴하고 결함 있는 로봇으로 대체하는 것은, 병원비를 아끼려고 외과의사를 로봇 청소기로 대체하는 것과 같습니다.

누락된 연결 고리: "책임의 간극"

논문은 깨진 신뢰의 사슬을 설명합니다.

• 연구자들은 위험을 알지만 대중과 대화하지 않습니다.
• 판매자들은 위험을 설명하지 않은 채 기술을 판매합니다.
• 구매자들(예: 911 센터)은 돕고 싶은 마음으로 기술을 구매하지만, 그것이 안전한지 확인할 전문 지식이 없습니다.

이것은 주인이 **"100% 순수 주스"**라고 써 붙여 놓았지만, 구매자는 주인이 수돗물과 설탕을 섞었다는 사실을 모르는 레모네이드 가판대와 같습니다. 구매자는 표지판을 믿었지만, 결국 병이 들게 됩니다.

해결책: 우리는 무엇을 해야 하는가?

저자들은 이를 바로잡기 위한 "모범 사례"를 제시합니다.

• AI를 의약품처럼 취급하라: 새로운 약을 복용할 때 부작용이 적힌 라벨을 확인하듯, 긴급 상황에 AI를 사용할 때는 **"모델 카드(Model Card)"**가 있어야 합니다. 이 카드에는 "이 기능은 스페인어에는 잘 작동하지만, 아랍어 방언에는 실패합니다. 인간의 백업 없이 생사가 걸린 상황에서 사용하지 마십시오"와 같이 명확히 적혀 있어야 합니다.
• 인간 백업을 확보하라: 로봇 번역기를 사용한다면, 로봇이 혼란에 빠질 경우 즉시 개입할 수 있는 사람이 준비되어 있어야 합니다.
• 정직해져라: 911에 문자를 보내는 사람에게 "지금 컴퓨터가 번역 중입니다. 내용이 이상해 보인다면 전화를 다시 걸어주세요"라고 알려야 합니다.
• 연구자들이 목소리를 내야 한다: 기술을 만든 과학자들은 실험실에 숨어 있지 말고, 그 기술을 구매하는 사람들에게 위험성을 설명하기 시작해야 합니다.

결론

논문은 생명이 걸린 상황(91러 911 호출 등)에서 "그만하면 괜찮은" 기술에 의존해서는 안 된다고 결론짓습니다. 번역이 틀리면 누군가는 다치거나 심지어 사망할 수도 있기 때문입니다.

저자들은 "AI를 사용하지 마라"고 말하는 것이 아닙니다. **"AI를 맹목적으로 사용하지 마라"**고 말하는 것입니다. 우리는 속도를 늦추고, 브레이크를 점검하며, 기술이 우리 응급 서비스에 투입되기 전에 실제로 안전한지 확인해야 합니다. 그렇게 하기 전까지, 우리는 사람의 목숨을 걸고 도박을 하고 있는 것입니다.