Multi-Agent LLMs as Ethics Advocates for AI-Based Systems

당신이 로봇을 만들고 있다고 상상해 보세요. 하지만 그냥 평범한 로봇이 아닙니다. 의사가 질병을 진단하는 것을 돕거나, 대출 승인 여부를 결정하거나, 청각 장애인을 위해 수어를 번역하는 로봇입니다. "시작" 버튼을 누르기 전에, 당신은 이 로봇을 위한 규칙 책자를 작성해야 합니다. 이 규칙 책자를 "요구사항 공학(requirements engineering)"이라고 부릅니다. 이것은 집의 설계도와 같습니다. 만약 설계도에 "여기에 창문을 설치하라"라고 적혀 있다면, 건축가는 그곳에 창문을 설치할 것입니다. 하지만 만약 설계도에 "태풍이 들어올 정도로 창문을 크게 만들지 마시오"라는 문구를 빠뜨렸다면 어떻게 될까요? 인공지능(AI)의 세계에서 이러한 누락된 규칙들을 "윤리적 요구사항(ethics requirements)"이라고 부릅니다. 이것은 AI에게 편향되거나 비밀스럽게 행동하는 대신, 공정하고 투명하며 친절하게 행동하라고 지시하는 지침입니다.

문제는 이러한 윤리적 규칙을 쓰는 것이 어렵다는 점입니다. 보통은 엔지니어, 변호사, 지역 사회 구성원 등 다양한 사람들이 모여 몇 시간 동안 토론하고 브레인스토밍하는 큰 회의가 필요합니다. 이는 느리고 비용이 많이 들며, 때로는 사람들이 지치기 때문에 가장 중요한 윤리적 규칙들이 잊히기도 합니다. 이 논문은 한 가지 큰 질문을 던집니다. "우리는 거대 언어 모델(LLM)이라 불리는 똑똑한 컴퓨터 두뇌 팀을 사용하여 더 빠르게 윤리적 규칙을 작성할 수 있을까?" 이를 마치 당신의 로봇 설계도를 보고, 실제로 만들기 전에 "이봐요, 이게 공정한지 확인하는 걸 잊으셨어요!"라고 외치는 AI 탐정 팀을 고용하는 것에 비유해 보세요.

AI 탐정 팀

연구자들인 아스마 야마니(Asma Yamani), 말락 바슬리만(Malak Baslyman), 모아타즈 아메드(Moataz Ahmed)는 MALEA(Multi-Agent LLM Ethics-Advocate)라고 불리는 시스템을 구축했습니다. 하나의 컴퓨터에게 모든 생각을 시키는 대신, 그들은 마치 이야기를 편집하는 친구들처럼 각자 특정한 역할을 수행하는 네 명의 가상 AI 에이전트 팀을 만들었습니다.

먼저, **요구사항 엔지니어(Requirements Engineer)**는 시스템에 대한 간단한 설명(예: "가짜 리뷰를 찾아내는 앱")을 받아 초기 규칙을 작성하려고 시도합니다. 다음으로, 품질 보증(Quality Assurance) 에이전트는 엄격한 편집자처럼 규칙이 명확하고 말이 되는지 확인합니다. 그다음은 주인공인 **윤리 옹호자(Ethics Advocate)**입니다. 이 에이전트의 유일한 임무는 규칙을 살펴보고 "잠깐, 이게 공정한가요? 프라이버시는 어쩌죠? 누군가 다치면 어떻게 되나요?"라고 말하는 것입니다. 마지막으로, **문서화 보조(Documentation Assistant)**가 모든 것을 깔끔하게 기록합니다.

이 에이전트들은 단순히 일직선으로 작업하는 것이 아니라, 서로 대화를 주고받는 루프 구조로 작동합니다. 엔지니어가 규칙을 쓰면, 품질 에이전트가 문법을 수정하고, 윤리 에이전트가 도덕성을 비판하며, 엔지니어가 다시 수정하러 돌아갑니다. 그들은 모두가 규칙이 훌륭하다고 동의할 때까지 공을 주고받습니다. 연구진은 이 팀을 두 가지 실제 상황, 즉 아랍어로 작성된 가짜 온라인 리뷰를 찾아내는 시스템과 사우디 수어를 텍로 번역하는 앱을 대상으로 테스트했습니다.

팀이 발견한 사실

연구진이 자신들의 AI 팀을 인간 전문가 및 단일 AI 컴퓨터와 비교했을 때, 결과는 "와우!"와 "이런!"이 섞여 있었습니다.

가짜 리뷰 탐지기의 경우, 인간 전문가는 30분간의 회의에서 8개의 윤리 규칙을 찾아냈습니다. 단일 AI 컴퓨터는 약 6개의 규칙(재현율 75%)을 찾았지만, MALEA 팀은 7개를 찾아냈습니다(재현율 87.5%). AI 팀이 인간의 실수를 잡아내는 데 더 뛰어났습니다. 예를 들어, 인간은 "오탐(false positives)"(실제 리뷰가 가짜로 잘못 분류되는 경우)을 추적하는 규칙을 놓쳤지만, AI 팀은 이러한 오류를 추적하기 위한 분기별 보고서에 대한 요구사항을 추가했습니다.

수어 앱 시나리오에서는 인간 전문가가 13개의 규칙을 찾아냈습니다. 단일 AI는 약 8개(62%)를 찾았고, MALEA 팀은 약 7개(54%)를 찾았습니다. 여기서 인간은 5초 미만의 응답 시간과 같은 구체적인 기술적 세부 사항을 잡아내는 데 약간 더 나은 모습을 보였습니다. 그러나 AI 팀은 인간이 생각하지 못한 새로운 아이디어를 제안하는 데 달인이었습니다. AI 팀은 인간이 완전히 놓친 "감사 가능한 익명화(audited anonymization)"(사용자 신원을 확인할 수 있는 방식으로 숨기는 것)와 특정 암호화 표준(예: TLS 1.3) 등을 제안했습니다.

이 논문은 AI 팀이 광범위한 윤리적 아이디어를 브레인스토밍하고 모호한 규칙을 매우 구체적으로 만드는 데 탁면이 있다고 시사합니다. 예를 들어, 단순히 "데이터를 안전하게 보관하라"고 말하는 대신, AI 팀은 "AES-256 암호화를 사용하라"고 작성했습니다. 하지만 논문은 AI가 완벽하지 않다는 점도 경고합니다. 때때로 AI는 특정 문화적 뉘앙스를 놓치거나 숫자를 틀리기도 합니다. 한 번의 실행에서 AI는 사우디아라비아 여성들이 서로 다른 종류의 머리 덮개를 쓴다는 점을 인지하고, 훈련 데이터에 각 유형별로 특정 수의 영상을 포함해야 한다고 제로했습니다. 하지만 다른 실행에서는 이 세부 사항을 완전히 잊어버렸습니다. 이는 AI가 어떤 때는 세부 사항을 기억하고 어떤 때는 잊어버리는 창의적인 작가와 같음을 보여줍니다.

결론: 대체제가 아닌 유용한 조력자

핵심적인 결론은 이 다중 에이전트 시스템이 윤리적 규칙의 "초안"을 빠르게 작성하는 데 강력한 도구라는 점입니다. 이 시스템은 단일 컴퓨터보다 더 많은 아이디어를 생성하고 더 구체적일 수 있으며, 짧은 회의에서 인간이 간과할 수 있는 것들을 종종 잡아냅니다. 그러나 연구진은 매우 분명하게 말합니다: 이것은 인간을 대체하지 않습니다.

AI는 제안하는 데는 뛰어나지만, "네, 좋은 아이디어입니다" 또는 "아니요, 그것은 우리 문화와 맞지 않습니다"라고 말할 인간이 필요합니다. 시스템은 심지어 엔지니어가 구체적인 세부 사항을 채워 넣어야 함을 상기시키기 위해 작은 "자리 표시자"(예: [여기에 숫자 삽입])를 남겨둡니다. 논문은 우리가 윤리를 완전히 자동화하려고 노력하는 대신, 이 AI 팀을 사용하여 프로세스의 속도를 높임으로써, 인간이 단순히 기본적인 규칙을 쓰는 데 시간을 쓰는 대신 더 어렵고 중요한 질문들을 논의하는 데 시간을 쓸 수 있도록 해야 한다고 주장합니다.

요약하자면, 이 논문은 AI 에이전트 팀이 훌는 "도덕적 브레인스토밍 파트너"로서 역할을 할 수 있으며, 우리가 최종 결정을 내릴 수 있도록 인간이 과정에 참여할 때 더욱 안전하고 공정한 AI 시스템을 구축하는 데 도움을 줄 수 있다고 제안합니다.