Aristotelian Virtue Profiling of LLMs through Ethical Dilemmas

Resumen Técnico: Perfilado de Virtudes Aristotélicas de LLMs a través de Dilemas Éticos

Planteamiento del Problema
Los Modelos de Lenguaje de Gran Escala (LLMs) frecuentemente generan salidas que priorizan consideraciones éticas contrapuestas, tales como la veracidad frente a la tacto, o la justicia estricta frente a la flexibilidad contextual. Los métodos de evaluación tradicionales suelen tratar estos comportaciones como binarias ("correcto" o "incorrecto"), oscureciendo la estructura subyacente de la toma de decisiones éticas. Los autores argumentan que un modelo que favorece el compromiso cuidadoso no es necesariamente menos ético que uno que favorece la divulgación directa; más bien, puede expresar un perfil ético distinto. El desafío consiste en ir más allá de los juicios de etiqueta única hacia un marco descriptivo que capture estas disposiciones matizadas sin afirmar que los modelos posean un carácter moral literal.

Metodología: El Marco VirtueMap
El artículo introduce VirtueMap, un marco que perfila modelos (y humanos) utilizando una lente de la ética de la virtud aristotélica. En lugar de seleccionar una única respuesta "correcta", el sistema requiere que los participantes clasifiquen las cinco respuestas a un conjunto de dilemas éticos de la más a la menos preferible éticamente.

• Virtudes y Dilemas: El marco perfila cinco virtudes aristotélicas: Sabiduría Práctica (phronesis), Justicia (dikaiosyne), Veracidad (aletheia), Coraje (andreia) y Templanza (sophrosyne). El instrumento consta de siete dilemas generales, no letales, no políticos y no religiosos (por ejemplo, "Error en Hoja de Cálculo", "Excepción de Fecha Límite"), cada uno ofreciendo cinco respuestas distintas (A–E).
• Validación de Sentido Común: Para establecer una clave de puntuación, los autores propusieron un ordenamiento de las cinco respuestas para cada par dilema-virtud, representando el orden de "más a menos expresivo" de dicha virtud. Estos ordenamientos fueron validados mediante cuestionarios en línea con más de 100 encuestados por cada ordenamiento. Un ordenamiento se mantuvo como "verdad de terreno operativa" solo si al menos el 95% de los encuestados confirmó el mismo (con $N > 100$). Esto asegura que la clave de puntuación se base en el reconocimiento del sentido común de la relevancia de la virtud en lugar de la intuición de los autores.
• Mecanismo de Puntuación: Las clasificaciones se puntúan contra los ordenamientos de expresión de virtud retenidos mediante alineación de Borda normalizada.
  • Se asignan pesos de Borda (5, 4, 3, 2, 1) a las clasificaciones.
  • La alineación bruta $A(d, v)$ es el producto punto de las puntuaciones de Borda de la clasificación observada y el ordenamiento de la virtud.
  • Esta puntuación bruta se normaliza a una escala de 0–100, donde 55 representa el acuerdo perfecto con el ordenamiento de la virtud y 35 representa una reversión completa.
  • La puntuación final para una virtud es la media de estas puntuaciones normalizadas a través de todos los dilemas respondidos.
• Protocolo de Evaluación de LLM: Los autores evaluaron nueve familias de LLM (GPT, Claude, Gemini, Llama, DeepSeek, Mistral, MiniMax, Grok, Qwen) vía OpenRouter. Para dar cuenta de la estocasticidad, la evaluación fue secuencial: los modelos se ejecutaron múltiples veces (hasta 10) hasta que el semi-ancho del intervalo de confianza del 95% para las medias de las virtudes descendiera por debajo de 5.0 puntos porcentuales o la consistencia alcanzara el 95%. El perfil reportado es la media empírica de estas ejecuciones repetidas.

Contribuciones Clave

1. Instrumento Ético Clasificado: Una herramienta novedosa basada en las virtudes aristotélicas que requiere el ordenamiento completo de las respuestas en lugar de la selección de una única opción.
2. Criterio de Validación: Un mecanismo de validación de sentido común para los ordenamientos de respuesta basado en una confirmación humana de alto umbral (>95%), separando la cuestión de "qué expresa una opción" de "qué prefiere un modelo".
3. Regla de Puntuación Explícita: Un método matemáticamente definido (alineación de Borda normalizada) para convertir clasificaciones en perfiles de virtud continuos.
4. Suite de Perfilado de Ejecución Repetida: Una metodología que trata la estocasticidad de los LLM como parte de la medición, reportando medias empíricas e intervalos de consistencia en lugar de instantáneas de una sola ejecución.
5. Implementación Interactiva: Un sitio web basado en navegador que computa los perfiles localmente, permitiendo a los usuarios comparar sus propias clasificaciones contra los perfiles medidos de los LLM.

Resultados
La evaluación produjo 44 ejecuciones completas válidas de cuestionarios entre nueve familias de modelos.

• Consistencia: La consistencia media de rango entre los modelos fue del 90.3%, lo que indica una alta estabilidad en cómo los modelos clasifican las respuestas a través de ejecuciones repetidas.
• Perfiles de Virtud: La puntuación media más alta en todos los modelos fue para la Sabiduría Práctica (90.4), seguida de Veracidad (82.3), Justicia (80.5), Coraje (78.0) y Templanza (76.9).
• Variabilidad: Las mayores diferencias entre modelos se observaron en Coraje (rango 10.95), Templanza (rango 10.26) y Justicia (rango 9.70).
• Especificidades de los Modelos: Qwen obtuvo la puntuación más alta en Sabiduría Práctica; MiniMax en Justicia; Claude en Veracidad y Coraje; y GPT en Templanza.
• Visualización: Los resultados se visualizan como gráficos de pentágono, resaltando que mientras los modelos convergen en la Sabiduría Práctica (prefiriendo a menudo opciones equilibradas), divergen significativamente en dimensiones que requieren intervención (Coraje) o restricción (Templanza).

Significancia y Reivindicaciones
El artículo posiciona a VirtueMap como una herramienta descriptiva, no un test de valor moral. Su principal significancia radica en desplazar la evaluación ética de la búsqueda de una única etiqueta correcta hacia la identificación de la "disposición expresada por un patrón de elecciones".

• Interpretabilidad: El marco proporciona un sistema de coordenadas interpretable por humanos, permitiendo la comparación de modelos que pueden evitar respuestas dañinas pero difieren en su priorización de valores (por ejemplo, divulgación de la instrucción frente a retraso cauteloso).
• Limitaciones: Los autores declaran explícitamente que los resultados no implican que los LLM posean literalmente virtudes. Los perfiles son específicos del alcance del cuestionario (siete dilemas, cinco virtudes) y deben verse como patrones de respuesta observados bajo un protocolo específico, no como propiedades fijas de los modelos. Los autores reconocen posibles limitaciones respecto al sesgo de confirmación en la etapa de validación y la naturaleza de subconjunto operacional de las virtudes seleccionadas.

El trabajo contribuye a la literatura sobre IA y ética de la virtud al hacer de las virtudes aristotélicas el espacio de representación primario para el perfilado del comportamiento del modelo, en lugar de tratarlas meramente como un lente teórico o una subcategoría de marcos morales más amplios.