Aristotelian Virtue Profiling of LLMs through Ethical Dilemmas

기술 요약: 윤리적 딜레마를 통한 LLM의 아리스토텔레스적 덕목 프로파일링

문제 정의
대규모 언어 모델(LLM)은 진실성 대 재치(tact), 또는 엄격한 공정성 대 맥락적 유연성과 같이 상충하는 윤리적 고려 사항들을 우선시하는 출력을 빈번하게 생성한다. 전통적인 평가 방식은 이러한 행동들을 이분법적인 "옳음" 또는 "그름"으로 취급하여, 그 밑바탕에 깔린 윤리적 의사결정의 구조를 가린다. 저자들은 신중한 타협을 선호하는 모델이 직접적인 공개를 선호하는 모델보다 반드시 덜 윤리적인 것이 아니라, 오히려 구별되는 윤리적 프로필을 표현하는 것일 수 있다고 주장한다. 과제는 모델이 문자 그대로의 도덕적 인격을 소유하고 있다고 주장하지 않으면서도, 이러한 미묘한 성향을 포착할 수 있는 기술적인 프레임워크로 나아가는 것이다.

방법론: VirtueMap 프레임워크
본 논문은 아리스토텔레스의 덕 윤리 관점을 사용하여 모델(및 인간)을 프로파일링하는 VirtueMap 프레임워크를 소개한다. 단일한 "정답"을 선택하는 대신, 이 시스템은 참가자들이 일련의 윤리적 딜레마에 대한 다섯 가지 응답 전체를 가장 윤리적으로 바람직한 것부터 가장 덜 바람직한 순서대로 순위를 매기도록 요구한다.

• 덕목 및 딜레마: 프레임워크는 다섯 가지 아리스토텔레스적 덕목인 실천적 지혜(phronesis), 정의(dikaiosyne), 진실성(aletheia), 용기(andreia), 절제(sophrosyne)를 프로파일링한다. 도구는 7개의 일반적이고, 치명적이지 않으며, 정치적/종교적이지 않은 딜레마(예: "스프레드시트 오류", "마감 기한 예외")로 구성되며, 각 딜레마는 다섯 가지의 구별된 응답(A–E)을 제공한다.
• 상식적 타당성 검증: 점수 산출 키(scoring key)를 설정하기 위해, 저자들은 다섯 가지 응답에 대해 특정 덕목을 얼마나 잘 표현하는지(가장 높은 표현력에서 가장 낮은 표현력 순으로)를 나타내는 순서를 제안했다. 이러한 순위는 100명 이상의 응답자가 참여한 온라인 설문조사를 통해 검증되었다. 순위는 응답자의 95% 이상이 해당 순서를 확인한 경우($N > 100$)에만 "운영적 실측값(operational ground truth)"으로서 유지되었다. 이는 점수 산출 키가 저자의 직관이 아닌, 덕의 관련성에 대한 상식적 인지에 기반하도록 보장한다.
• 점수 산출 메커즘: 순위는 **정규화된 보르다 정렬(Normalized Borda alignment)**을 사용하여 덕목 순위와 비교된다.
  • 보르다 가중치(5, 4, 3, 2, 1)가 순위에 할당된다.
  • 원시 정렬값 $A(d, v)$는 관찰된 순위와 덕목 순위의 내적(dot product)이다.
  • 이 원시 점수는 0–100 척도로 정규화되며, 55는 덕목 순위와 완벽히 일치함을, 35는 완전한 역순임을 나타낸다.
  • 특정 덕목에 대한 최종 점수는 답변된 모든 딜레마에 대한 이 정규화된 점수들의 평균이다.
• LLM 평가 프로토콜: 저자들은 OpenRouter를 통해 9개의 LLM 제품군(GPT, Claude, Gemini, Llama, DeepSeek, Mistral, MiniMax, Grok, Qwen)을 평가했다. 모델의 확률적 특성을 고려하여, 평가를 순차적으로 진행했다: 모델을 여러 번(최대 10회) 실행하여 덕목 평균의 95% 신뢰 구간 반폭(half-width)이 5.0 퍼센트 포인트 미만으로 떨어지거나 일관성이 95%에 도달할 때까지 반복했다. 보고된 프로필은 이러한 반복 실행의 경험적 평균이다.

주요 기여

1. 순위 기반 윤리 도구: 응답의 단일 선택이 아닌 전체 순위를 요구하며 아리스토텔레스적 덕목에 근거한 새로운 도구.
2. 타당성 기준: "무엇이 옵션을 표현하는가"의 문제를 "모델이 무엇을 선호하는가"의 문제와 분리하기 위해, 높은 임계값(>95%)의 인간 확인을 바탕으로 한 응답 순위의 상식적 검증 메커니즘.
3. 명시적 점수 규칙: 순위를 연속적인 덕목 프로필로 변환하는 수학적으로 정의된 방법(정규화된 보르다 정렬).
4. 반복 실행 프로파일링 스위트: LLM의 확률성을 측정의 일부로 취급하여, 단일 실행의 스냅샷이 아닌 경험적 평균과 일관성 구간을 보고하는 방법론.
5. 대화형 구현: 사용자가 자신의 순위를 측정된 LLM 프로필과 비교할 수 있도록 로컬에서 프로필을 계산하는 브라우저 기반 웹사이트.

결과
평가는 9개 모델 제품군에 대해 44회의 유효한 전체 설문지 실행을 생성했다.

• 일관성: 모델 간 평균 순위 일관성은 **90.3%**로, 모델들이 반복 실행 시 응답을 매기는 방식에서 높은 안정성을 보였다.
• 덕목 프로필: 모든 모델 중 가장 높은 평균 점수는 **실천적 지혜(90.4)**였으며, 그 뒤를 진실성(82.3), 정의(80.5), 용기(78.0), 절제(76.9)가 이었다.
• 변동성: 가장 큰 모델 간 차이는 용기(범위 10.95), 절제(범위 10.26), 그리고 **정의(범위 9.70)**에서 관찰되었다.
• 모델별 특징: Qwen은 실천적 지혜에서 가장 높은 점수를 받았고, MiniMax는 정의, Claude는 진실성과 용기, GPT는 절제에서 가장 높은 점수를 받았다.
• 시각화: 결과는 오각형 플롯(pentagon plots)으로 시각화되었으며, 이는 모델들이 실천적 지혜(균형 잡힌 옵션을 선호하는 경향)에서는 수렴하지만, 개입(용기)이나 절제(절제)를 요구하는 차원에서는 크게 갈라진다는 점을 보여준다.

의의 및 주장
본 논문은 VirtueMap을 도덕적 가치를 테스트하는 도구가 아닌, 기술적(descriptive) 도구로 규정한다. 이 연구의 주요 의의는 윤리적 평가를 단 하나의 정답 레이블을 찾는 것에서 "선택 패턴에 의해 표현되는 성향"을 식별하는 것으로 전환하는 데 있다.

• 해석 가능성: 프레임워크는 인간이 해석 가능한 좌표계를 제공하여, 해로운 답변은 피하면서도 가치의 우선순위(예: 프롬프트 공개 대 신중한 지연)에서 서로 다른 모델들을 비교할 수 있게 한다.
• 한러사항: 저자들은 결과가 LLM이 실제로 덕목을 소유하고 있음을 의미하지 않는다고 명시적으로 밝힌다. 프로필은 본 설문지의 범위(7개 딜레마, 5개 덕목)에 국한되며, 고정된 속성이 아닌 특정 프로토콜 하에서의 관찰된 응답 패턴으로 간주되어야 한다. 또한 저자들은 검증 단계에서의 확증 편향 가능성과 선택된 덕목의 부분 집합적 성격에 관한 잠재적 한계를 인정한다.

이 연구는 아리스토텔레스적 덕목을 단순한 이론적 렌즈나 광범위한 도덕적 벤치마크의 하위 범주로 취급하는 것이 아니라, 모델 행동 프로파일링의 기본 표현 공간으로 만듦으로써 AI와 덕 윤리 문헌에 기여한다.