🤖 AI

LLM-FACETS: A Privacy-Preserving Framework for Evaluating LLM Transparency and Accountability

LLM-FACETS는 데이터 흐름을 명시적으로 관리하고, 다양한 이해관계자 역할을 지원하며, 사실성, 불확실성 및 환각 탐지를 위한 맞춤형 지표를 통해 평가를 실행함으로써, 비기술 전문가들이 LLM의 투명성과 책임성을 쉽게 접할 수 있도록 설계된, 셀프 호스팅이 가능한 브라우저 기반 인터페이스를 제공하는 오픈 소스 기반의 프라이버시 보존 프레임워크입니다.

원저자: Tom Lucas, Alessio Buscemi, Alfredo Capozucca, German Castignani, Barbara Delacroix

게시일 2026-06-01

📖 4 분 읽기☕ 가벼운 읽기

CC BY 4.0

원저자: Tom Lucas, Alessio Buscemi, Alfredo Capozucca, German Castignani, Barbara Delacroix

원본 논문은 CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/) 라이선스로 제공됩니다. ✨ 이것은 아래 논문에 대한 AI 생성 설명입니다. 저자가 작성하거나 승인한 것이 아닙니다. 기술적 정확성을 위해서는 원본 논문을 참조하세요. 전체 면책 조항 읽기

당신에게 매우 똑똑하고 박식한 로봇(대규모 언어 모델 또는 LLM)이 있어 보고서를 쓰고, 의학 질문에 답하거나, 법률 문서를 요약한다고 상상해 보십시오. 당신은 알고 싶을 것입니다: 이 로봇이 진실을 말하고 있는가? 답변에 확신을 가지고 있는가? 그리고 이 로봇의 성적을 매기는 사람을 믿을 수 있는가?

현재 로봇의 작업을 확인하는 것은 마치 눈을 가린 채 데려온 도구 사용법도 모르는 렌치를 들고 고도의 기술이 집약된 자동차 엔진을 점검하려는 것과 같습니다. 오직 정비사(프로그래머)들만이 이를 수행할 수 있으며, 그들은 종-종 엔진 부품을 검사를 위해 멀리 떨어진 공장(클라우드)으로 보내야 하는데, 이는 개인정보 보호 문제를 일으킵니다.

LLM-FACETS는 이를 해결하기 위해 설계된 새로운 오픈 소스 툴킷입니다. 이것을 당신의 웹 브라우저에 바로 설치되는 **"스마트 대시보드"**라고 생각하십시오. 이를 통해 코드를 작성할 필요 없이, 의사, 변호사, 혹은 컴플라이언스 담당자 등 누구나 로봇의 작업물을 확인할 수 있습니다. 또한 당신의 비밀 데이터를 낯선 이에게 보낼 필요도 없습니다.

이것이 어떻게 작동하는지 간단한 개념으로 나누어 설명하겠습니다:

1. 세 가지 유형의 조사관

이 논문은 서로 다른 이유로 로봇을 점검해야 하는 사람들이 있다는 점을 깨달았습니다. LLM-FACETS는 세 가지 특정 "조사관"을 위해 도구를 구성합니다:

정비사 (기술 전문가): 엔진의 내부 작동 원리를 볼 필요가 있습니다. 이들은 "로그 확률(log-probabilities)"(로봇이 입력하는 모든 단어에 대해 얼마나 확신하는지를 보여주는 멋진 방식)을 살펴봅니다. 만약 로봇이 "추측"하고 있다면, 대시보드는 해당 단어를 빨간색으로 표시합니다.
전문가 (도메인 전문가): 사실 관계가 맞는지 알아야 합니다. 만약 로봇이 의료 보조 도구라면, 이 조사관은 로봇의 조언이 실제로 제공된 의학 서적에서 나온 것인지, 아니면 로봇이 지어내고 있는 것인지(환각 현상)를 확인합니다.
감찰관 (컴플라이언스 담당자): 법적 근데를 위한 증거가 필요합니다. 이들은 "우리가 이것을 점검했으며, 규칙을 준-수한다"라고 말할 수 있는 깔끔하고 출력 가능한 보고서가 필요합니다. 이들은 로봇이 어떻게 생각하는지는 알 필요 없이, 단지 제대로 점검되었는지만 알면 됩니다.

2. "자신의 키를 직접 가져오기(BYOK)" 개인정보 보호 방패

AI를 점검할 때 발생하는 가장 큰 문제 중 하나는 많은 도구가 점수를 매기기 위해 당신의 개인 데이터(예: 환자 기록이나 법률 비밀)를 제3자 서버로 보낸다는 점입니다. 이것은 마치 자신의 일기를 편집하기 위해 낯선 사람에게 보내는 것과 같습니다.

LLM-FACETS는 "자신의 키를 직접 가져오기(Bring Your Own Key)" 시스템으로 이 문제를 해결합니다:

금고: 당신의 비밀 키(AI 서비스 접속 비밀번호)는 당신의 주머니 속에 있는 금고처럼 오직 당신의 브라우저에만 저장됩니다. 도구는 이를 절대 볼 수 없습니다.
로컬 작업장: 단순한 확인 작업(단어 중복 횟수 세기 등)을 위해, 도구는 모든 계산을 당신의 컴퓨터나 당신의 개인 서버 내에서 완전히 수행합니다. 데이터는 당신의 건물 밖으로 나가지 않습니다.
투명한 운송업자: 만약 도구가 복잡한 등급을 받기 위해 외부 AI에 데이터를 반드시 보내야 한다면, 도구는 투명한 운송업자처럼 행동합니다. 당신의 키를 사용하여 데이터를 전달하고, 답을 얻은 즉시 모든 것을 잊어버립니다. 데이터나 키를 절대 저장하지 않습니다.

3. "배심원" 시스템 (편향된 채점자 방지)

때때로 하나의 AI 채점기는 편향될 수 있습니다. 예를 들어, 짧은 답변보다 긴 답변을 선호하거나, 자신의 답변과 비슷하게 보이는 답변을 좋아할 수 있습니다.
LLM-FACES는 "배심원" 접근 방식을 사용합니다. 하나의 AI에게 채점을 맡기는 대신, 서로 다른 회사의 세 가지 서로 다른 AI에게 동일한 답변에 대해 독립적으로 채점하도록 요청합니다.

세 명의 심사위원이 모두 동의하면, 그 등급은 확실합니다.
만약 의견이 크게 엇갈린다면, 시스템은 이를 "논쟁 중"으로 표시하여 당신에게 "주의하세요, 심사위원들이 이 부분에 대해 합의하지 못했습니다. 더 자세히 살펴보십시오"라고 알려줍니다. 이는 한 명의 편향된 채점자가 잘못된 보고서를 내놓는 것을 방지합니다.

4. "RAG 트라이어드 (RAG Triad)" (사실 확인의 삼각 구도)

로봇이 특정 문서(RAG라고 불리는 시스템)를 바탕으로 질문에 답해야 할 때, LLM-FACETS는 세 부분의 사실 확인을 수행합니다:

충실도 (Faithfulness): 로봇이 문서에 없는 사실을 지어냈는가?
답변 관련성 (Answer Relevance): 로봇이 실제로 질문에 답했는가, 아니면 주제에서 벗어났는가?
컨텍스트 관련성 (Context Relevance): 로봇이 시작 단계에서 올바른 문서를 사용했는가, 아니-면 관련 없는 쓰레기를 가져왔는가?

5. 왜 이것이 중요한가 ("플러그인"의 마법)

자동차를 점검하는 새로운 방법이 발명될 때마다 새로운 차고를 통째로 사야 한다고 상상해 보십시오. LLM-FACETS는 레고 세트처럼 구축되었습니다.

만약 연구자들이 미래에 편향이나 환각을 점검하는 새로운 방법을 발명한다면, 그들은 그 새로운 도구를 시스템에 그냥 "플러그"처럼 꽂을 수 있습니다.
그러면 대시보드, 보고서, 그리고 개인정보 설정이 그 새로운 도구를 포함하도록 자동으로 업데이트됩니다. 전체 시스템을 다시 구축할 필요가 없습니다.

요약

LLM-FACETS는 AI가 진실을 말하고 있는지 확인할 수 있게 해주는, 개인정보가 안전하고 사용하기 쉬운 대시보드입니다. 이 도구는 데이터를 비공개로 유지하고, 편향을 피하기 위해 AI "배심원"을 활용하며, 전문가들을 위해 명확하고 색상으로 구분된 보고서를 제공합니다. 이것은 블랙박스 형태의 복잡한 AI 감사 과정을 자동차의 대시보드를 보는 것만큼 간단한 과정으로 바꿔 놓습니다.

기술 요약: LLM-FACETS

문제 정의

대규모 언어 모델(LLM)의 출력이 사실에 근거하고, 인식론적으로 교정되었으며, 방법론적으로 재현 가능하다는 것을 보장하기 위한 감사는 책임 있는 AI 배포의 전제 조건입니다. 그러나 현재의 평가 관행은 법적 및 윤리적 감독 책임을 지는 비기술 전문가(도메인 전문가 및 컴플라이언스 담당자)가 접근하기에는 여전히 어렵습니다. 기존 도구들은 세 가지 주요 장벽을 제시합니다:

기술적 복잡성: 프로그래밍 라이브러리(예: DeepEval, Ragas)는 프로그래밍 전문 지식, 환경 구성 및 종속성 관리를 요구합니다.
데이터 주권 리스크: 클라우드 호스팅 플랫폼(예: LangSmith, Arize Phoenix)은 평가 데이터를 외부 서비스로 전송하며, 이는 개인 데이터 처리에 관한 GDPR 및 EU AI 법과 관련된 규정과 충돌을 일으킵니다.
파편화된 투명성: 기존 도구들은 종종 다차원적 평가를 위한 체계적인 방법론적 접근 방식이 부족하여, 서로 다른 이해관계자의 고유한 투명성 요구 사항을 해결하지 못합니다.

나아가, 이 분야는 일관되지 않은 메트릭 구현과 표준화되고 교차 검증된 베이스라인의 부재로 인해 재현성 위기에 직면해 있습니다.

방법론

본 논문은 구조화된 워크플로우와 프라이버시를 보호하는 아키텍처를 통해 투명성을 실행하도록 설계된 오픈 소스 프레임워크인 LLM-FACETS(LLM FActuality Cross-EvaluaTion System)를 소개합니다.

1. 실무자 중심 프레임워크

이 프레임워크는 세 가지 실무자 프로필을 중심으로 구조화되어 있으며, 특정 책임 역할을 투명성 목표에 매핑합니다:

기술 전문가 (Technical Experts): 인식론적(epistemic) 및 사실적(factual) 투명성에 집중합니다 (로그 확률 및 RAG Triad 메트릭을 통한 환각 발생 원인 진단).
도메인 전문가 (Domain Experts): 사실적(factual) 및 프로세스(process) 투명성에 집중합니다 (Faithfulness 점수 및 다중 판사 합의를 통한 도메인 내 신뢰성 평가).
컴플라이언스 담당자 (Compliance Officers): 프로세스(process) 투명성에 집중합니다 (배치 단위 감사를 통한 규제 인증 및 수출 가능한 JSON/CSV 기록).

2. 아키텍처 및 프라이비시 모델

LLM-FACETS는 브라우저 클라이언트와 셀프 호스팅된 무상태(stateless) 서버 프로세스로 구성된 Next.js 애플리케이션입니다. 이는 다음을 통해 데이터 주권을 보장합니다:

BYOK (Bring Your Own Key): API 키는 오직 사용자의 브라우저(IndexedDB)에만 저장되며, 단일 요청 기간 동안에만 전송됩니다. 키는 서버에 절대 영구 저장되지 않습니다.
인 프로세스 연산 (In-Process Computation): 결정론적 메트릭(BLEU, ROUGE, METEOR, BERTScore)은 Transformers.js와 데이터셋 쿼리를 위한 DuckDB를 사용하여 전체 과정이 셀프 호스팅된 서버 내에서 완전히 실행됩니다. 이러한 작업을 위해 평가 데이터가 실무자의 인프라를 벗어나지 않습니다.
프라이버시 보호 익명화: 정규 표현식, 로컬 NER(compromise.js) 또는 셀프 호스팅된 Presidio를 사용하는 구성 가능한 파이프라인을 통해, 텍스트가 외부 LLM API로 전송되기 전에 개인 식별 정보(PII)를 제거합니다.

3. 평가 워크플로우

프레임워크는 5단계 워크플로우(알고리즘 1)를 강제합니다:

투명성 목표 정의: 차원(인식론적, 사실적 또는 프로세스)을 선택합니다.
메트릭 선택: 교차 확인을 가능하게 하기 위해 동일한 속성을 대상으로 하는 최소 두 개의 메트릭을 선택합니다.
데이터셋 로드: 통합된 벤치마크(SQuAD v2, HaluEval)를 사용하거나 독자적인 데이터를 업로드합니다.
결과 교차 확인: 발산(divergence)을 탐지하기 위해 메트릭 간 상관관계(Pearson 상관계수)를 분석합니다.
증거 패키징: 점수, 구성 및 추론 체인을 포함하는 구조화된 아티팩트를 내보냅니다.

4. 구현된 메트릭

프레임워크는 네 가지 투명성 차원을 구체화합니다:

베이스라인 그라운딩 (Baseline Grounding): 표준 Python 라이브러리와 교차 검증된 결정론적 메트릭(BLEU, ROUGE, METEOR, BERTScore).
인식론적 투명성 (Epistemic Transparency): 모델의 확신도와 불확실성을 평가하기 위한 토큰 수준의 로그 확률 시각화.
사실적 투명성 (Factual Transparency): 출력을 검색된 소스로 추적하기 위한 RAG Triad (Faithfulness, Answer Relevance, Context Relevance).
프로세스 투명성 (Process Transparency): 위치 편향(position bias)을 완화하고 평가자 분산을 정량화하기 위한 다중 판사 합의(Jury 모듈) 및 평가 토폴로지.

주요 기여

방법론적 프레임워크: EU AI 법 및 NIST AI 위험 관리 프레임워크에 정의된 세 가지 뚜렷한 실무자 프로필에 맞춰, 투명성 목표를 구체적인 평가 관행에 연결하는 구조화된 접근 방식을 제공합니다.
통합 툴링: 프로그래밍 전문 지식이 필요 없는 브라우저 접근형 인터페이스를 통해, 단일 플랫폼에서 투명성 감사 메커니즘(로그 확률 시각화, RAG Triad, 다중 판사 합의)을 제공합니다.
오픈 소스 구현: Python 참조 라이브러리와 교차 검증된 18가지 메트릭 변형을 갖춘 TypeScript 기반 프레임워크입니다. 핵심 파이프라인을 수정하지 않고도 새로운 메트릭이나 데이터셋을 추가하면 내비게이션, 대시보드 및 API가 자동으로 업데이트되는 플러그인 아키텍처를 특징으로 합니다.
데이터 주권 보장: 결정론적 로컬 연산과 외부 LLM 호출을 명시적으로 분리하는 아키텍처 설계를 통해 GDPR 및 데이터 보호 규정 준수를 보장합니다.

결과 및 검증

교차 검증: 결정론적 메트릭 구현(BLEU, ROUGE, METEOR, BERTScore)을 표준 Python 라이브러리(NLTK, Hugging Face evaluate)를 사용하여 267개의 검증 케이스에 대해 테스트했습니다. 결과는 절대 오차가 $10^{-5}$ 미만으로 나타나 수치적 재현성을 확인했습니다.
안정성: gpt-4o-mini를 사용한 반복 실행( $n=5$ ) 결과, LLM 기반 메트릭(RAG Triad, G-Eval, Jury)의 표준 편차( $\sigma$ )가 0.05 미만으로 나타나 생산 환경 사용을 위한 충분한 점수 안정성을 입증했습니다.
성능: 고성능 서버에서 13,369개의 샘플(텍스트 생성 및 전통적 메트릭 포함)을 처리하는 데 24.7초가 소요되었습니다. 인 프로세스 메트릭 계산 엔진은 전통적 메트릭을 6.7초(샘플당 메트릭당 0.5 ms) 만에 실행하여 높은 효율성을 보여주었습니다.
사용 사례: 개발자 디버깅, 컴플라이언스 담당자 감사, 도메인 전문가 검증의 세 가지 시나리오를 통해, 프레임워크가 어떻게 코딩이나 외부 데이터 프로세서에 의존하지 않고도 각 역할이 고유한 감독 작업을 수행할 수 있게 하는지 보여줍니다.

의의 및 주장

본 논문은 LLM-FACETS가 AI 시스템을 구축하는 팀으로부터 AI 책임(accountability)을 분리함으로써 AI 생태계의 중요한 격차를 해소한다고 주장합니다. 과학적 검증이 가능할 정도로 엄격하면서도 비기술 전문가가 접근 가능한 도구를 제공함으로써 다음과 같은 목표를 달러합니다:

감독의 민주화: 도메인 전문가와 컴플이언스 담당자가 AI 시스템을 독립적으로 평가할 수 있도록 하여, EU AI 법(제14조) 및 GDPR의 기능적 요구 사항을 충족합니다.
재현성 확보: 독점적인 평가 API의 "블랙박스" 특성에 대응하여, 교차 검증되고 투명한 메트릭 구현을 제공함으로써 오픈 사이언스의 토대를 마련합니다.
미래 지향적 거버넌스: 플러그인 아키텍처를 통해, 새로운 메트릭과 데이터셋을 아키텍처의 전면 개편 없이 통합할 수 있도록 설계되어 장기적인 규제 준수를 지원하고 기술 발전에 대응합니다.

저자들은 LLM-as-a-Judge 방식의 내재적 편향, 이해관계자와의 공식적인 사용자 연구 부족, 로그 확률을 노출하는 제공업체에 대한 현재의 의존성 등의 한계를 인정합니다. 이들은 LLM-FACETS를 모든 AI 투명성 과제에 대한 최종 해결책이라기보다, 협력적인 다중 이해관계자 평가 생태계를 향한 실질적인 단계로 규정합니다.