Social and Ethical Risks Posed by General-Purpose LLMs for Settling Newcomers in Canada

캐나다의 정착 부문을 전 세계로부터 도착하는 사람들을 위한 거대하고 붐비는 환영 센터로 상상해 보세요. 이 센터의 임무는 새로 온 사람들이 새로운 삶을 구축할 수 있도록 집, 일자리, 학교, 의사를 찾도록 돕는 것입니다. 현재 이 센터는 압도당하고 있습니다. 이전보다 더 많은 사람들이 도착하고 있으며, 직원들은 인력이 부족해져 있습니다.

직원들이 바쁘기 때문에 많은 새로 온 사람들 (심지어 도움 주는 사람들조차) 은 주머니 속의 "마법 로봇"인 범용 AI(인기 있는 ChatGPT 와 같은) 에 의존하고 있습니다. 그들은 이것에게 모든 것을 묻습니다. "어디서 일자리를 찾을 수 있나요?" "내 아이가 필요한 백신은 무엇인가요?" "은행 계좌는 어떻게 개설하나요?"

이 논문은 그 마법 로봇에 붙은 경고 라벨입니다. 저자들은 이 로봇이 똑똑하지만, 이 특정 환영 센터를 위해 만들어진 것은 아니라고 말합니다. 그 작업을 확인하지 않은 채 이를 "그대로 가져와서" 사용하는 것은 외국 도시에서 길 안내를 구하기 위해 훈련받지 않았지만 똑똑한 관광객에게 물어보는 것과 같습니다. 그들은 자신감 있게 말하지만, 당신을 잘못된 길로 쉽게 인도할 수 있습니다.

다음은 이 논문이 발견한 구체적인 위험들을 간단한 비유를 사용하여 설명한 것입니다:

1. "직업 편향" (편견 필터)

주장: 저자들이 AI 에게 새로 온 사람들을 위한 직업을 제안해 달라고 요청했을 때, 답변은 사람의 출신 국가에 따라 달라졌습니다.
비유: A 국 사람들은 청소만 잘한다고, B 국 사람들은 타고난 지도자라고 은밀히 믿고 있는 채용 담당자를 상상해 보세요.

• 무슨 일이 일어났는지: AI 에게 필리핀이나 아프가니스탄 출신의 새로 온 사람에 대해 물었을 때, "행정 보조"와 같은 저임금 직업을 제안했습니다. 반면 영국이나 독일 출신의 사람에 대해 물었을 때는 "소프트웨어 개발자"와 같은 고임금 직업을 제안했습니다.
• 위험: AI 는 출신 국가 때문에 실제로 자격이 있는 직업에서 사람들을 멀어지게 하는 편향된 필터처럼 행동합니다.

2. "언어 격차" (불평등한 통역사)

주장: AI 는 영어로는 훌륭하게 작동하지만 많은 다른 언어에서는 어려움을 겪거나 완전히 실패합니다.
비유: 완벽한 영어를 구사하지만 프랑스어나 스페인어는 몇 마디만 아는 의사를 상상해 보세요. 만약 당신이 모국어로 건강에 대해 물어본다면, 그들은 단순히 고개를 끄덕이며 모호한 말을 하거나, 더 나쁘게는 잘못된 조언을 줄 수 있습니다.

• 무슨 일이 일어났는지: 저자들이 영어로 어린이 백신에 대해 물었을 때 AI 는 좋은 답변을 주었습니다. 하지만 소말리어, 이그보어, 타밀어와 같은 언어로 물었을 때 AI 는 전혀 정확한 정보를 제공하지 못했고, 백신 대신 책이나 피임에 대해 이야기하기도 했습니다.
• 위험: 덜 흔한 언어를 사용하는 새로 온 사람들은 "고장 난" 버전의 서비스를 받게 되어 심각한 건강 문제가 발생할 수 있습니다.

3. "두 개의 머리를 가진 괴물" (영어 대 프랑스어)

주장: 캐나다의 두 가지 공식 언어에서도 AI 는 공정하지 않습니다.
비유: 영어로는 상세한 10 단계 지도가 있지만, 프랑스어로는 중요한 방향 전환을 생략한 모호한 8 단계 지도가 있는 안내서를 상상해 보세요.

• 무슨 일이 일어났는지: 은행 계좌 개설 방법을 물었을 때, 영어 답변은 명확한 10 단계 목록이었습니다. 프랑스어 답변은 핵심 세부 사항을 누락한 8 단계 목록이었습니다. 또한 영어 버전은 사용자가 직접 은행을 선택할 수 있게 한 반면, 프랑스어 버전은 사용자에게 묻지 않고 하나를 선택해 주었습니다.
• 위험: 프랑스어를 사용하는 새로 온 사람들은 영어를 사용하는 이웃들보다 더 적은 통제권과 정보를 얻습니다.

4. "증오의 홀로그램" (편견과 이미지)

주장: AI 는 난민과 이민자에 대한 해로운 편견을 강화하는 가짜 이미지와 이야기를 생성합니다.
비유: 난민을 항상 슬픈, 히잡을 쓴 중동 가족으로만 캐스팅하고, 난민이 전 세계 어디서나 왔으며 다른 사람들과 똑같이 생겼다는 사실을 무시하는 영화 감독을 상상해 보세요.

• 무슨 일이 일어났는지: "난민 가족" 이미지를 생성해 달라고 요청했을 때, AI 는 항상 중동 무슬림 가족을 그렸습니다. "이민자"에 대해 물었을 때는 주로 남아시아 가족을 그렸습니다. 또한 아버지는 고학력이고 어머니는 저학력이라고 가정했습니다.
• 위험: 이는 사람들의 마음에 잘못된 현실을 만들어 사회가 모든 난민이 똑같이 생기고 행동한다고 생각하게 하여 편견을 부추기고 커뮤니티의 진정한 다양성을 무시하게 합니다.

5. "자신감 있는 거짓말쟁이" (환각)

주장: AI 는 실제처럼 들리지만 완전히 가짜인 사실을 만들어냅니다.
비유: 유명한 도서관이라고 말하며 건물을 가리키는데 실제로는 빈터인 tour 가이드를 상상해 보세요. 가이드가 너무 확신 있게 말하기 때문에 당신은 그들을 믿게 됩니다.

• 무슨 일이 일어났는지: AI 는 존재하지 않는 학교와 지역 센터의 이름을 지어냈습니다. 실제 진료소의 잘못된 주소를 제공했습니다. 진료소가 "방문 진료"가 아니라고 말했는데도 방문 진료라고 했습니다.
• 위험: 아직 도시를 잘 모르는 새로 온 사람들은 존재하지 않는 건물에 도착하여 시간과 희망을 낭비할 수 있습니다.

6. "구식 연감" (오정보)

주장: AI 는 지금 일어나고 있는 일을 모릅니다.
비유: 오늘 날씨를 물어보는데 3 년 전에 인쇄된 책을 읽는 사서에게 물어보는 상황을 상상해 보세요. 그들은 과거에 대한 "올바른" 답변을 주겠지만, 오늘에는 쓸모가 없습니다.

• 무슨 일이 일어났는지: 온타리오 주의 최저임금에 대해 물었을 때, AI 는 현재 수준이 훨씬 높은데도 2021 년이나 2022 년의 숫자를 제공했습니다.
• 위험: 새로 온 사람들은 "로봇"이 그 금액이 올바른 임금이라고 말했기 때문에 법률이 요구하는 것보다 적은 금액으로 일자리를 수락할 수 있습니다.

7. "양의 옷을 입은 늑대" (악의적 사용)

주장: 악의적인 행위자들이 이 AI 를 이용해 새로 온 사람들을 속일 수 있습니다.
비유: 경찰관이나 은행 관리와 똑같이 들리게 하기 위해 첨단 음성 변조기를 사용하는 사기꾼을 상상해 보세요.

• 무슨 일이 일어났는지: 저자들은 AI 에게 일부 안전 장치가 있지만, 영리한 사기꾼들이 이를 속여 가짜 임대 광고를 작성하거나, 가짜 신분증 이미지를 만들거나, 취약한 새로 온 사람들을 대상으로 하는 전화 사기 대본을 작성하게 할 수 있음을 보여주었습니다.
• 위험: 시스템이 어떻게 작동하는지 이미 혼란스러워하는 새로 온 사람들은 이러한 AI 생성 사기의 쉬운 표적이 됩니다.

해결책: 로봇을 해고하지 말고 더 잘 훈련시키세요

이 논문은 우리가 AI 를 금지해야 한다고 말하지 않습니다. 대신, 이 특정 작업에는 "그대로 가져온" 로봇을 사용하는 것을 중단해야 한다고 말합니다.

• 도구 맞춤화: 우리는 인터넷 전체가 아닌 검증된 캐나다 정착 데이터만으로 훈련된 특별한 AI 를 구축해야 합니다.
• 인간 개입: 조종사가 조종사를 필요로 하듯이, AI 는 정착 근로자를 대체하는 것이 아니라 돕는 도구가 되어야 합니다. 새로운 사람과 접촉하기 전에 AI 의 작업은 인간 전문가가 확인해야 합니다.
• 디지털 리터러시 교육: 새로 온 사람들은 "마법 로봇"이 거짓말을 할 수 있다는 것을 배우고 중요한 사실을 다시 확인해야 합니다.

요약하자면: 현재의 AI 는 도움을 주려는 의도는 있지만 사실을 지어내고 편향을 보이는 훈련되지 않은 인턴과 같습니다. 새로 온 사람들의 안전을 위해, 우리는 그 인턴을 전문적이고 감독받으며 신중하게 훈련된 조수로 대체해야 합니다.