🤖 AI

LLM-FACETS: A Privacy-Preserving Framework for Evaluating LLM Transparency and Accountability

LLM-FACETS es un marco de trabajo de código abierto y preservador de la privacidad diseñado para hacer que la transparencia y la rendición de cuentas de los LLM sean accesibles para profesionales no técnicos, proporcionando una interfaz basada en el navegador y autoalojada que gestiona explícitamente los flujos de datos, admite diversos roles de partes interesadas y operacionaliza la evaluación mediante métricas personalizables para la detección de veracidad, incertidumbre y alucinaciones.

Autores originales: Tom Lucas, Alessio Buscemi, Alfredo Capozucca, German Castignani, Barbara Delacroix

Publicado 2026-06-01

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Tom Lucas, Alessio Buscemi, Alfredo Capozucca, German Castignani, Barbara Delacroix

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que tienes un robot muy inteligente y culto (un Modelo de Lenguaje Extenso o LLM) que escribe informes, responde preguntas médicas o resume documentos legales. Quieres saber: ¿Está diciendo la verdad? ¿Tiene confianza en sus respuestas? Y ¿podemos confiar en la persona que califica su trabajo?

Actualmente, revisar el trabajo del robot es como intentar inspeccionar el motor de un coche de alta tecnología con los ojos vendados y sosteniendo una llave inglesa que no sabes cómo usar. Solo los mecánicos (programadores) pueden hacerlo, y a menudo tienen que enviar las piezas del motor a una fábrica distante (la nube) para que sean revisadas, lo que plantea problemas de privacidad.

LLM-FACETS es un nuevo kit de herramientas de código abierto diseñado para solucionar esto. Piensa en él como un "Tablero Inteligente" que se ubica directamente en tu navegador web, permitiendo que cualquiera —ya seas un médico, un abogado o un oficial de cumplimiento— revise el trabajo del robot sin necesidad de escribir código o enviar tus datos secretos a extraños.

Así es como funciona, desglosado en conceptos sencillos:

1. Los tres tipos de inspectores

El artículo se da cuenta de que diferentes personas necesitan revisar al robot por diferentes razones. LLM-FACETS organiza sus herramientas para tres "inspectores" específicos:

El Mecánico (Experto Técnico): Necesita ver el funcionamiento interno del motor. Observan las "probabilidades de log" (una forma elegante de ver qué tan seguro está el robot de cada palabra que escribe). Si el robot está "adivinando", el tablero vuelve esa palabra roja.
El Experto (Experto en el Dominio): Necesita saber si los hechos son correctos. Si el robot es un asistente médico, este inspector verifica si el consejo proviene realmente de los libros médicos que se le proporcionaron, o si el robot se está inventando cosas (alucinando).
El Inspector General (Oficial de Cumplimiento): Necesita pruebas para la ley. Necesita un informe limpio y imprimible que diga: "Revisamos esto y cumple con las reglas". No necesita saber cómo piensa el robot, solo que fue revisado adecuadamente.

2. El escudo de privacidad "Traiga su propia llave" (BYOK)

Uno de los mayores problemas con la revisión de la IA es que muchas herramientas envían tus datos privados (como registros de pacientes o secretos legales) a un servidor de terceros para ser calificados. Esto es como enviar tu diario a un extraño para que lo edite.

LLM-FACESETS resuelve esto con un sistema de "Traiga su propia llave":

La Caja Fuerte: Tus llaves secretas (contraseñas de los servicios de IA) se almacenan solo en tu propio navegador, como una caja fuerte en tu bolsillo. La herramienta nunca ve tus llaves.
El Taller Local: Para comprobaciones simples (como contar la superposición de palabras), la herramienta realiza los cálculos enteramente en tu propia computadora o en tu propio servidor privado. Ningún dato sale de tu edificio.
El Mensajero Transparente: Si la herramienta debe enviar datos a una IA externa para obtener una calificación compleja, actúa como un mensajero transparente. Entrega los datos usando tu llave, obtiene la respuesta e inmediatamente olvida todo. Nunca almacena tus datos ni tus llaves.

3. El sistema del "Jurado" (Evitando evaluadores sesgados)

A veces, un evaluador de IA puede tener sesgos. Por ejemplo, puede preferir respuestas largas sobre cortas, o puede que le gusten las respuestas que se parecen a las suyas.
LLM-FACETS utiliza un enfoque de "Jurado". En lugar de pedir a una sola IA que califique el trabajo, le pide a tres IAs diferentes (de distintas empresas) que califiquen la misma respuesta de forma independiente.

Si las tres están de acuerdo, la calificación es sólida.
Si discrepan drásticamente, el sistema lo marca como "en disputa", diciéndote: "Oye, los jueces no se ponen de acuerdo en esto; mira más de cerca". Esto evita que un evaluador sesgado dé un informe falso.

4. La "Tríada RAG" (El trío de verificación de hechos)

Cuando se supone que el robot debe responder preguntas basadas en documentos específicos (un sistema llamado RAG), LLM-FACETS utiliza una verificación de hechos de tres partes:

Fidelidad (Faithfulness): ¿Se inventó el robot hechos que no están en los documentos?
Relevancia de la Respuesta (Answer Relevance): ¿Respondió el robot realmente a la pregunta formulada, o se salió del tema?
Relevancia del Contexto (Context Relevance): ¿Utilizó el robot los documentos correctos para empezar, o tomó basura irrelevante?

5. Por qué esto es importante (La magia del "Plugin")

Imagina que cada vez que se inventa una nueva forma de evaluar un coche, tienes que comprar un garaje nuevo. LLM-FACETS está construido como un juego de LEGO.

Si los investigadores inventan en el futuro una nueva forma de verificar el sesgo o las alucinaciones, simplemente pueden "conectar" esa nueva herramienta al sistema.
El tablero, los informes y la configuración de privacidad se actualizan automáticamente para incluir la nueva herramienta. No necesitas reconstruir todo el sistema.

Resumen

LLM-FACETS es un tablero privado y fácil de usar que permite a personas que no son programadores verificar si la IA dice la verdad. Mantiene tus datos privados, utiliza un "jurado" de IAs para evitar sesgos y proporciona informes claros y codificados por colores para diferentes tipos de expertos. Convierte el proceso complejo y de "caja negra" de la auditoría de IA en algo tan simple como mirar el tablero de tu coche.

Resumen Técnico: LLM-FACETS

Declaración del Problema

La auditoría de los Modelos de Lenguaje de Gran Escala (LLM) para asegurar que los resultados estén fundamentados en hechos, estén epistémicamente calibrados y sean metodológicamente reproducibles es un requisito previo para el despliegue responsable de la IA. Sin embargo, las prácticas de evaluación actuales siguen siendo inaccesibles para los profesionales no técnicos (expertos en el dominio y oficiales de cumplimiento) que ostentan la responsabilidad legal y ética de la supervisión de la IA. Las herramientas existentes presentan tres barreras principales:

Complejidad Técnica: Las librerías programáticas (por ejemplo, DeepEval, Ragas) requieren experiencia en programación, configuración de entornos y gestión de dependencias.
Riesgos de Soberanía de Datos: Las plataformas alojadas en la nube (por ejemplo, LangSmith, Arize Phoenix) transmiten datos de evaluación a servicios externos, lo que crea conflictos con regulaciones como el RGPD y la Ley de IA de la UE con respecto al procesamiento de datos personales.
Transparencia Fragmentada: Las herramientas existentes a menudo carecen de enfoques metodológicos sistemáticos para la evaluación multidimensional, fallando en abordar las distintas necesidades de transparencia de los diferentes roles de las partes interesadas.

Además, el campo enfrenta una crisis de reproducibilidad debido a implementaciones de métricas inconsistentes y a la falta de líneas base estandarizadas y validadas de forma cruzada.

Metodología

El artículo presenta LLM-FACETS (Sistema de Evaluación Cruzada de Veracidad de LLM), un marco de código abierto diseñado para operacionalizar la transparencia mediante un flujo de trabajo estructurado y una arquitectura que preserva la privacidad.

1. Marco Centrado en el Profesional

El marco se estructura en torno a tres perfiles de profesionales, mapeando roles de responsabilidad específicos con objetivos de transparencia:

Expertos Técnicos: Se centran en la transparencia epistémica y fáctica (diagnosticando el origen de las alucinaciones mediante log-probabilidades y métricas del Triad de RAG).
Expertos en el Dominio: Se centran en la transparencia fáctica y de proceso (evaluando la fiabilidad dentro de un dominio mediante puntuaciones de Fidelidad y consenso de múltiples jueces).
Oficiales de Cumplimiento: Se centran en la transparencia de proceso (certificación regulatoria mediante auditorías a nivel de lote y rastros exportables en JSON/CSV).

2. Arquitectura y Modelo de Privacidad

LLM-FACETS es una aplicación Next.js que comprende un cliente de navegador y un proceso de servidor sin estado y autoalojado. Fuerza la soberanía de los datos mediante:

Traiga su Propia Clave (BYOK): Las claves de API se almacenan exclusivamente en el navegador del usuario (IndexedDB) y se transmiten solo durante la duración de una única solicitud. Nunca se persisten en el servidor.
Computación en Proceso: Las métricas deterministas (BLEU, ROUGE, METEOR, BERTScore) se ejecutan enteramente dentro del servidor autoalojado utilizando Transformers.js y DuckDB para las consultas de conjuntos de datos. Ningún dato de evaluación sale de la infraestructura del profesional para estas tareas.
Anonimización que Preserva la Privacidad: Un flujo de trabajo configurable redacta la Información de Identificación Personal (PII) utilizando regex, NER local (compromise.js) o un sistema autoalojado de Presidio antes de que cualquier texto se envíe a las API de LLM externas.

3. Flujo de Trabajo de Evaluación

El marco impone un flujo de trabajo de cinco pasos (Algoritmo 1):

Definir el Objetivo de Transparencia: Seleccionar la dimensión (epistémica, fáctica o de proceso).
Seleccionar Métricas: Elegir al menos dos métricas que apunten a la misma propiedad para permitir la verificación cruzada.
3.ar Cargar Conjunto de Datos: Utilizar benchmarks integrados (SQuAD v2, HaluEval) o cargar datos propios.
Verificar Resultados Cruzados: Analizar la correlación entre métricas (correlación de Pearson) para detectar divergencias.
Empaquetar Evidencia: Exportar artefactos estructurados que contengan puntuaciones, configuraciones y cadenas de razonamiento.

4. Métricas Implementadas

El marco operacionaliza cuatro dimensiones de la transparencia:

Fundamentación de Línea Base: Métricas deterministas (BLEU, ROUGE, METEOR, BERTScore) validadas cruzadamente contra librerías de Python canónicas.
Transparencia Epistémica: Visualización de log-probabilidades a nivel de token para evaluar la confianza e incertidumbre del modelo.
Transparencia Fáctica: El Triad de RAG (Fidelidad, Relevancia de la Respuesta, Relevancia del Contexto) para rastrear los resultados hacia las fuentes recuperadas.
Transparencia de Proceso: Consenso de Multi-Juez (módulo de Jurado) y Topologías de Evaluación para mitigar el sesgo de posición y cuantificar la varianza del evaluador.

Principales Contribuciones

Marco Metodológico: Un enfoque estructurado que conecta los objetivos de transparencia con prácticas de evaluación concretas, adaptado a tres perfiles de profesionales distintos definidos por la Ley de IA de la UE y el Marco de Gestión de Riesgos de IA del NIST.
Herramientas Unificadas: Una interfaz accesible vía navegador que no requiere experiencia en programación, entregando mecanismos de auditoría de transparencia (visualización de log-probabilidades, Triad de RAG, consenso de multi-juez) en una sola plataforma.
Implementación de Código Abierto: Un marco basado en TypeScript con 18 variantes de métricas validadas cruzadamente contra librerías de referencia de Python. Cuenta con una arquitectura de plugins donde añadir nuevas métricas o conjuntos de datos actualiza automáticamente la navegación, el tablero y la API sin modificar el flujo central.
Garantías de Soberanía de Datos: Un diseño arquitectónico que separa explícitamente la computación determinista local de las llamadas a LLM externas, asegurando el cumplimiento con el RGPD y las regulaciones de protección de datos.

Resultados y Validación

Validación Cruzada: Las implementaciones de métricas deterministas (BLEU, ROUGE, METEOR, BERTScore) fueron probadas contra 267 casos de validación utilizando librerías de Python canónicas (NLTK, Hugging Face evaluate). Los resultados mostraron un error absoluto inferior a $10^{-5}$ , confirmando la reproducibilidad numérica.
Estabilidad: Las ejecuciones repetidas ( $n=5$ ) de las métricas basadas en LLM (Triad de RAG, G-Eval, Jurado) utilizando gpt-4o-mini demostraron una desviación estándar ( $\sigma$ ) inferior a 0.05, lo que indica una estabilidad de puntuación suficiente para uso en producción.
Rendimiento: El procesamiento de 13,369 muestras (incluyendo generación de texto y métricas tradicionales) en un servidor de alto rendimiento tomó 24.7 segundos. El motor de computación de métricas en proceso ejecutó las métricas tradicionales en 6.7 segundos (0.5 ms/muestra/métrica), demostrando una alta eficiencia.
Casos de Uso: El artículo ilustra tres escenarios (Depuración de Desarrolladores, Auditoría de Oficiales de Cumplimiento, Validación de Expertos en el Dominio) demostrando cómo el marco permite a distintos roles realizar sus tareas de supervisión específicas sin codificación ni dependencia de procesadores de datos externos.

Significado y Reivindicaciones

El artículo afirma que LLM-FACETS aborda una brecha crítica en el ecosistema de la IA al desacoplar la rendición de cuentas de la IA de los equipos que construyen los sistemas. Al proporcionar una herramienta que es tanto accesible para profesionales no técnicos como rigurosa para la verificación científica, busca:

Democratizar la Supervisión: Permitir que los expertos en el dominio y los oficiales de cumplimiento evalúen independientemente los sistemas de IA, cumpliendo con los requisitos funcionales de la Ley de IA de la UE (Artículo 14) y el RGPD.
Garantizar la Reproducibilidad: Establecer una base para la ciencia abierta proporcionando implementaciones validadas cruzadamente y transparentes de las métricas de evaluación, contrarrestando la naturaleza de "caja negra" de las API de evaluación propietarias.
Gobernanza Preparada para el Futuro: A través de su arquitectura de plugins, el marco está diseñado para evolucionar con el campo, permitiendo que nuevas métricas y conjuntos de datos se integren sin una reestructuración arquitectónica, apoyando el cumplimiento regulatorio a largo plazo.

Los autores reconocen las limitaciones, incluyendo los sesgos inherentes a los métodos de LLM-como-Juez, la falta de estudios de usuario formales con las partes interesadas y la dependencia actual de proveedores que exponen las log-probabilidades. Posicionan a LLM-FACETS como un paso práctico hacia un ecosistema de evaluación colaborativo y de múltiples partes interesadas, más que como una solución final a todos los desafíos de transparencia de la IA.