AI LEGO: Scaffolding Cross-Functional Collaboration in Industrial Responsible AI Practices during Early Design Stages

당신이 친구들과 함께 거대하고 복잡한 로봇을 만들고 있다고 상상해 보세요. 당신에게는 로봇의 두뇌를 코딩하는 법을 아는 엔지니어, 로봇의 외형을 디자인하는 아티스트, 그리고 로봇이 실제로 사람들을 위해 무엇을 해야 하는지 결정하는 매니저가 있습니다. 보통 엔지니어는 먼저 두뇌를 구축하고, 난해한 코드를 잔뜩 작성한 뒤, 다른 이들에게 이렇게 말하며 건넵니다. "자, 이걸로 작동하게 만들어 봐." 하지만 종종 아티스트와 매니저는 그 코드를 이해하지 못해 큰 문제를 놓치곤 합니다. 예를 들어, 로봇이 특정 사람들에게 무례하게 굴거나 잘못된 결정을 내릴 수도 있다는 사실을 말이죠. 그 실수를 깨달았을 때는 이미 로봇이 완성된 후이며, 이를 수정하는 것은 악몽과 같습니다. 이것은 인공지능(AI) 세계에서 흔히 발생하는 문제로, 서로 다른 배경을 가진 전문가들이 해로운 제품이 실체화되기 전에 나쁜 아이디어를 차단할 수 있도록 충분히 일찍 소통하지 못할 때 발생합니다.

이를 해결하기 위해 연구자들은 "경계 객체(boundary objects)"라는 개념을 살펴봅니다. 경계 객체는 일종의 만국 공통어 또는 공유된 레고 세트라고 생각하면 됩니다. 그것은 보는 사람마다 다르게 보일 수 있지만, 그룹 전체에게는 동일한 의미를 갖는 도구입니다. 엔지니어에게 레고 브릭은 구조적 구성 요소일 수 있고, 디자이너에게는 색상 블록일 수 있지만, 팀 전체에게는 모두가 잡고 토론할 수 있는 그냥 "브릭"일 뿐입니다. 이 논문은 AI 팀을 위한 더 나은 "공유된 레고 세트"를 어떻게 구축할 것인지 탐구하며, 특히 코딩을 시작하기 전에 위험한 실수를 포착하는 데 도움이 되는 방법을 다룹니다.

---

논문: AI LEGO

이 연구를 진행한 카네기 멜런(Carnegie Mellon) 및 노스웨스턴(Northwestern) 대학교 등의 연구진은 기업들이 "책임감 있는 AI"(안전하고 공정한 AI)를 구축하려고 할 때 프로세스가 무너지는 현상을 목격했습니다. 기술 인력(코더)과 비기술 인력(제품 매니저나 디자이너 등)이 서로 같은 생각을 공유하지 못하는 것입니다. 코더들은 복잡한 기술적 전문 용어로 말하고, 비코더들은 소외감을 느끼며, 잠재적인 위해를 조기에 발견하지 못해 너무 늦게까지 손을 쓸 수 없는 상태가 됩니다.

이를 해결하기 위해 그들은 AI LEGO라는 웹 도구를 만들었습니다.

핵심 아이디어: 블록으로 만들기

당신이 꿈꾸는 휴가에 대해 친구에게 설명하려고 한다고 상상해 보세요. 만약 당신이 항공편 번호와 호텔 코드에 대해서만 중얼거린다면, 친구는 지루해하거나 혼란스러워할 것입니다. 하지만 "항공편", "호텔", "해변"과 같이 크고 알록달록한 블록이 그려진 지도를 사용한다면, 전체 계획을 쉽게 파악할 수 있습니다.

AI LEGO도 AI 프로젝트를 위해 똑같이 작동합니다. 팀은 구글 문서(Google Docs) 같은 도구에서 길고 지루한 문서를 작성하는 대신, **라이프사이클 블록(Lifecycle Blocks)**으로 가득 찬 디지털 캔버스를 사용합니다.

• 기술 팀은 이 블록들을 드래그 앤 드롭하여 자신들의 계획을 스케치하는 것으로 시작합니다. 각 블록은 "문제 정의"(우리는 무엇을 해결하는가?), "데이터셋 구축"(우리는 어떤 데이터를 사용하는가?), "모델 정의"(두뇌는 어떻게 작동하는가?)와 같이 AI를 구축하는 단계 하나하나를 나타냅니다. 각 블록 내부에는 그들의 선택을 평이한 언어로 설명하도록 안내하는 간단한 프롬프트가 들어 있습니다.
• 비기술 팀은 그다음 단계에 참여합니다. 그들은 코딩을 알 필요가 없습니다. 그들은 블록을 바라보고 **단계 중심 체크리스트(Stage-centered Checklists)**를 사용합니다. 이것은 마치 안전 점검 카드와 같습니다. "데이터셋" 블록의 경우, 체크리스트는 "여기에 편향을 유발할 수 있는 민감한 데이터가 포함되어 있는가?"라고 물을 수 있습니다. 이는 비코더들이 놓칠 수 있는 위험을 포착하도록 도와줍니다.

비밀 병기: "페르소나" 미니피겨

여기서부터 정말 재미있는 부분이 시작됩니다. AI LEGO에는 **페르소나 중심 평가(Persona-centered Evaluation)**라는 특별한 기능이 있습니다.
새로운 비디오 게임을 설계하고 있다고 상상해 보세요. 공정성을 확보하기 위해 단순히 일반적인 "플레이어"만을 생각하지는 않습니다. 당신은 "스포츠를 좋아하는 십 대", "태블릿으로 게임을 하는 할머니", 혹은 "영어를 못 하는 사람"과 같은 구체적인 캐릭터를 상상합니다.

AI LEGO는 팀이 이러한 다양한 유형의 사용자들을 나타내는 디지털 **미니피겨(Minifigures, 작은 레고 사람)**를 만들 수 있게 해줍니다. 이 도구는 심지어 스마트한 AI(대규모 언어 모델)를 사용하여 이 미니피겨들이 계획에 어떻게 반응할지를 시뮬레이션합니다.

• 예시: 팀이 영화 추천 AI를 만들고 있다면, "십 대 영화 팬"이라는 이름의 미니피겨를 만들 수 있습니다. 도구는 이 십 대가 무엇이라고 말할지를 시뮬레이션합니다: "이봐, 내가 남자라는 이유로 액션 영화만 추천한다면 그건 불공평해!"
• 이를 통해 팀은 다른 사람의 눈을 통해 프로젝트를 직접 봄으로써, 미처 생각하지 못했던 "엣지 케이스(edge cases)"—특이하거나 구체적인 상황들—를 발견할 수 있습니다.

연구 결과: 성과

연구진은 18명의 업계 실무자(AI 개발자 6명, 제품 매니저 6명, UI/UX 디자이너 6명)를 6개의 팀과 함께 이 도구를 테스트했습니다. 그들은 세 가지 다른 방식으로 AI 시스템을 설계하도록 요청받았습니다:

1. 구글 문서 (기존 방식, 텍스트만 작성)
2. AI LEGO Lite (블록과 체크리스트는 사용하지만, 미니피겨는 없음)
3. AI LEGO Full (블록, 체크리스트, 그리고 미니피겨를 모두 사용)

결과는 매우 명확했습니다:

• 더 많은 문제 발견: AI LEGO를 사용할 때, 팀들은 구글 문서를 사용할 때보다 195% 더 많은 문제적 설계 결함을 찾아냈습니다. 이는 잠재적 재앙을 발견하는 수가 거의 두 배에 달한다는 것을 의미합니다!
• 더 높은 품질: 그들이 찾아낸 문제들은 단순한 추측이 아니었습니다. 그 문제들은 실제로 발생할 가능성이 더 높았습니다. AI LEGO Full을 사용한 팀들은 구글 문서 그룹에 비해 발생 가능성 척도(4점 만점)에서 1.25점 더 높은 이슈들을 찾아냈습니다.
• 미니피겨의 효과: 미니피겨가 포함된 "Full" 버전의 도구는 "Lite" 버전보다 더 많은 문제를 찾는 데 도움을 주었습니다. 시뮬레이션된 페르소나는 비기술 인력이 실제 인간이 어떻게 영향을 받을지에 대해 더 깊이 생각하도록 도왔습니다.
• 사용자 만족도: 참가자들은 AI LEGO가 구글 문서보다 사용하기 쉽고 재미있다고 답했습니다. 그들은 단순히 메모를 주고받는 것이 아니라, 실제로 하나의 팀으로서 협업하고 있다고 느꼈습니다.

이것이 중요한 이유

이 논문은 우리가 AI를 구축하는 '방식'이 AI 그 자체만큼이나 중요하다고 제안합니다. 만약 우리가 계속해서 격리된 환경(silos)—즉, 코더는 코더끼리, 매니저는 매니저끼리만 대화하는 환경—에서 구축한다면, 우리는 계속해서 사람들에게 해를 끼치는 실수를 저지르게 될 것입니다.

AI LEGO는 우리에게 공유된 시각적 언어(레고 블록처럼)와 타인의 입장이 되어 볼 수 있는 방법(미니피겨처럼)을 제공한다면, 잘못된 아이디어를 조기에 잡아낼 수 있음을 보여줍니다. 그리고 가장 좋은 점은, 이를 조기에 잡아내면 완성된 로봇을 허물고 처음부터 다시 시작할 필요 없이, 피해가 발생하기 전에 문제를 바로잡을 수 있다는 것입니다.

이 연구는 이 도구가 세상의 모든 문제를 해결하는 마법 지팡이라고 주장하지는 않습니다. 연구진은 이 도구가 프로토타입이며, 실제 현장의 팀들은 실험 세션보다 훨씬 더 복잡하다는 점을 인정합니다. 그러나 그들은 AI 설계에 대해 이야기하는 방식—즉, 시각적이고, 구조적이며, 포용적으로 만드는 것—을 바꾸는 것이 우리의 미래 기술을 훨씬 더 안전하고 공정하게 만들 수 있다고 제안합니다.