Resumen Técnico: TREETRACER – Exponiendo lo no dicho mediante la agregación estocástica de rutas

Declaración del Problema

Los modelos de lenguaje extensos (LLMs) generan texto a través de procesos estocásticos, produciendo una distribución de probabilidad sobre posibles tokens de salida en lugar de un único resultado determinista. Los métodos actuales de auditoría de sesgos enfrentan limitaciones significativas en este contexto:

• Insuficiencia de salida única: Los enfoques estándar suelen depender de la inspección de una sola secuencia generada o de métricas automatizadas estáticas (p. ej., perplejidad, BLEU). Estos métodos oscurecen las distribuciones de probabilidad subyacentes y no logran capturar los sesgos ocultos en las ramas de generación de baja probabilidad.
• Limitaciones de plantillas estáticas: Los conjuntos de datos de sesgo fundacionales suelen utilizar plantillas de oraciones rígidas y predefinidas. La investigación indica que estas fallan al no capturar la diversidad de los contextos del mundo real y las variaciones sintácticas donde el sesgo se manifiesta naturalmente, provocando a menudo comportamientos sintácticos por defecto en lugar de revelar asociaciones semánticas reales.
• Escalabilidad de la visualización: Las herramientas de análisis visual existentes para la generación de texto (p. ej., Árboles de Búsqueda de Haz/Beam Search Trees) luchan por resumir cientos de rutas de generación estocásticas complejas en una vista condensada y legible sin perder detalles estructurales o claridad cognitiva.

El desafío central es desarrollar un método que automatice la generación y la clasificación semántica de casos de prueba diversos, permitiendo al mismo tiempo que los evaluadores humanos analicen visualmente las distribuciones de probabilidad agregadas para detectar daños representacionales sistémicos.

Metodología: Pipeline TREETRACER

El artículo presenta TREETRACER, un enfoque de análisis visual diseñado para evaluar el sesgo de los LLM mediante la comparación agregada. El sistema emplea un pipeline de perturbación sistemática que consta de seis pasos computacionales:

1. Aumentación de Prompts e Inyección de Ontologías:

   • El sistema aísla las variables semánticas en un prompt base reemplazando un token objetivo con sustitutos extraídos de una ontología semántica (p. ej., "Nombres Masculinos" frente a "Nombres Femeninos").
   • Las ontologías se generan mediante consultas BFS en ConceptNet o mediante LLMs ajustados por instrucciones.
   • Un mecanismo de Humano en el Bucle (Human-in-the-Loop) permite a los usuarios editar, eliminar o crear ontologías personalizadas para prevenir la ambigüedad circular y asegurar el control humano sobre los parámetros analíticos.

2. Generación de Texto y Alineación de Tokens:

   • El sistema ejecuta la generación de texto para todos los prompts aumentados utilizando inferencia local o APIs externas.
   • Registra el texto generado, las probabilidades a nivel de token y los metadatos.
   • Fusión de Subtokens (Subword Token Merging): Para manejar los tokenizadores de subpalabras (p. ej., BPE), el pipeline fusiona los subtokens de nuevo en palabras completas, calculando la media geométrica de sus probabilidades para evitar penalizar las palabras más largas.

3. Análisis de Sintaxis de Constituyentes (Constituency Parsing):

   • Las salidas generadas se analizan mediante árboles de constituyentes usando la biblioteca NLP Stanza para crear una representación gramatical unificada.
   • Un algoritmo de alineación mapea las etiquetas de categorías gramaticales (part-of-speech) del analizador de vuelta a los tokens originales de espacio en blanco para resolver las discrepancias de tokenización.

4. Clustering Estructural:

   • Para abordar la saturación visual, el sistema elimina el contenido léxico de los árboles para crear "cadenas de esqueletos" (solo etiquetas estructurales).
   • Estos esqueletos se agrupan mediante clustering aglomerativo con Distancia de Edición de Árbol (TED) o heurísticas (Levenshtein, N-gram Jaccard).
   • El sistema retiene los $k$ esquemas gramaticales más frecuentes para formar la columna vertebral visual, mientras descarta los valores atípicos de baja frecuencia para mantener la claridad visual. Se retiene un conjunto completo de todas las oraciones por separado para los cálculos de probabilidad global.

5. Clasificación Semántica:

   • En lugar de diccionarios estáticos, el sistema utiliza un método de Clasificación Contextual Asistida por LLM; un LLM auxiliar clasifica las palabras clave filtradas (sustantivos, adjetivos, nombres propios) dentro del contexto de la oración completa para manejar la polisemia.
   • Sobreescritura por el Usuario basada en RAG: Los usuarios pueden corregir manualmente las clasificaciones erróneas en el frontend. Estas correcciones se guardan e inyectan en el prompt del LLM auxiliar para ejecuciones posteriores, asegurando una clasificación determinista y verificada por humanos.

6. Construcción de Árboles y Métricas de Probabilidad:

   • Los nodos se fusionan utilizando una clave compuesta de (texto_del_token, categoría_semántica) para evitar la fusión de palabras polisémicas.
   • El sistema calcula dos métricas de probabilidad distintas para la visualización:
     • Probabilidad Seleccionada ($P_{selected}$): El promedio de la confianza del token sobre las oraciones estructuralmente retenidas (visualizado como el ancho del enlace).
     • Probabilidad Global ($P_{global}$): La suma de las probabilidades de los tokens a través de todas las ocurrencias generadas, normalizada por el recuento del subconjunto seleccionado. Esto asegura que los tokens frecuentes en el conjunto total, pero podados por el clustering, permanezcan visualmente prominentes (altura del nodo).

Contribuciones Clave

1. Interfaz de Análisis Visual (Adaptación de Sankey)

TREETRACER utiliza una novedosa adaptación del diagrama de Sankey para visualizar árboles de probabilidad agregados. Desacopla las reglas estrictas de conservación de flujo para satisfacer las necesidades de la auditoría de sesgos:

• Altura del Nodo: Codifica $P_{global}$, representando la masa de probabilidad escalada de una ruta de tokens a través de todas las muestras.
• Ancho del Enlace: Codifica $P_{selected}$, visualizando la confianza localizada del modelo restringida al subconjunto estructural seleccionado.
• Esta codificación dual asegura que los sesgos fuertes ocultos dentro de las variaciones sintácticas descartadas sigan siendo visibles.

2. Modos de Inferencia Comparativa y Contrastiva

• Yuxtaposición: Visualización lado a lado de dos árboles impulsados por ontologías para permitir la comparación directa de la divergencia estructural.
• Superposición: Una vista combinada interactiva alinea los árboles de diferentes ontologías utilizando un algoritmo de fusión vertical entre árboles, preservando las estadísticas de origen dual.
• Inferencia Contrastiva: Para abordar el "punto ciego estadístico" donde los algoritmos de decodificación descartan tokens de baja probabilidad, el sistema realiza inferencia contrafactual. Fuerza al modelo a calcular las probabilidades brutas para tokens específicos bajo ambas condiciones originales (Ontología A y B) y visualiza la Relación de División Contrastiva ($R_{split}$) como haces divididos dentro de los bordes.

3. Validación del Sistema

El sistema fue validado a través de cinco casos de estudio comparando un baseline no alineado (GPT-2 XL) contra modelos Apertus constitucionalmente alineados:

• Sesgo de Género: Reveló sesgos ocultos en asociaciones ocupacionales (p. ej., nombres femeninos vinculados a roles de cuidado, nombres masculinos a roles ejecutivos) y supresión de pronombres contrafactuales.
• Toxicidad: Expuso sesgos de entrenamiento históricos donde las denominaciones geográficas árabes se vinculaban con clústeres de "Extremismo Político y Religioso", mientras que las denominaciones occidentales se vinculaban con características positivas.
• Roleplay de Persona: Demostró cómo las restricciones de rol activan estereotipos de género (p. ej., CEOs mujeres descritas mediante labor emocional vs. CEOs hombres descritos mediante inteligencia).
• Desinformación Médica: Mostró cómo los modelos alineados (Apertus) colapsan estructuralmente en nodos de rechazo estricto para sustancias peligrosas, mientras que los modelos no alineados (GPT-2) generan instrucciones coherentes pero dañinas.
• Sesgo Sintáctico: Destacó "correlaciones espurias de dominio sintáctico" donde los modelos no alineados aplican rígidamente plantillas geográficas a artículos de comida, mientras que los modelos alineados se adaptan semánticamente.

4. Estudio de Usuario

Un estudio de usuario preliminar con siete estudiantes de ciencias de la computación confirmó que la interfaz comparativa agregada:

• Reduce la carga cognitiva en comparación con las herramientas estándar de búsqueda de haz (p. ej., generAItor).
• Apoya eficazmente a los analistas en la detección de sesgos sistémicos.
• Alcanzó una puntuación de la Escala de Usabilidad del Sistema (SUS) de 76.9, lo que indica una alta usabilidad.

Significado y Reivindicaciones

El artículo afirma que TREETRACER cierra la brecha entre la generación de texto estocástica y la necesidad de una auditoría de sesgos rigurosa. Su principal significancia radica en el cambio del enfoque analítico desde la inspección aislada de instancias únicas hacia la comparación agregada y consciente de la clasificación.

Los autores sostienen que:

1. Los Sesgos Ocultos son Expuestos: El sesgo suele residir en las ramas de baja probabilidad y en las variaciones sintácticas que las inspecciones estándar de top-k o beam search pasan por alto. TREETRACER hace explícitas estas "asociaciones ocultas".
2. La Ontología como Variable de Control: Al tratar las ontologías como variables independientes controladas, el sistema permite la separación de los efectos semánticos de las plantillas sintácticas, ofreciendo una herramienta más robusta para evaluar daños representacionales que las plantillas estáticas.
3. Rigor Contrafactual: La inclusión de la inferencia contrastiva reduce el riesgo de malinterpretar la presencia de sesgo al calcular y mostrar las probabilidades de tokens contrafactuales, asegurando que la ausencia de una palabra en la salida final no enmascare su probabilidad subyacente.

El trabajo concluye que la combinación de agregación visual, fusión consciente de la clasificación e inferencia contrastiva proporciona una base escalable para la futura investigación en seguridad y alineación de la IA, permitiendo la detección de daños representacionales sistémicos incluso cuando estos están ausentes de los resultados de mayor rango.