Resumen Técnico: FailureScope – Diagnóstico de Comportamiento Trans-Regímenes de las Debilidades de los Modelos de Lenguaje

1. Planteamiento del Problema

Los benchmarks estándar de Modelos de Lenguaje Grande (LLM) suelen reportar puntuaciones de precisión agregadas (por ejemplo, MMLU, GSM8K), lo que oscurece las capacidades específicas que un modelo carece. A medida que los modelos se despliegan en escenarios complejos, de múltiples turnos y agénticos, la brecha entre un único número agregado y las necesidades diagnósticas específicas de los profesionales se amplía. Además, la comunidad de investigación se ha fragmentado en subcomunidades separadas para benchmarks de un solo turno, diálogos de múltiples turnos y evaluaciones de agentes adversarios, cada una con métricas y marcos diagnósticos distintos que no se transfieren entre regímenes.

El artículo argumenta que la unidad fundamental de diagnóstico no debe ser la tarea en sí, sino el patrón de comportamiento trans-modelo: específicamente, qué modelos fallan en una sonda determinada. Los métodos actuales suelen centrarse en comprimir los benchmarks para reducir los costes de evaluación mientras se preservan los rankings escalares, descartando a menudo la información granular sobre los tipos de fallos que los profesionales necesitan.

2. Metodología: FAILURESCOPE

Los autores introducen FAILURESCOPE, una metodología de diagnóstico conductual que construye taxonomías de fallos mediante el agrupamiento (clustering) de sondas de evaluación basadas en sus firmas de aprobado/suspendido trans-modelo. El enfoque está diseñado para ser portable a través de diferentes regímenes de evaluación.

Pipeline Central

La metodología sigue un algoritmo de cinco pasos que permanece constante en los regímenes de un solo turno, múltiples turnos y adversarios:

1. Construcción de la Matriz: Construir una matriz de aprobación/fallo de sonda por modelo.
2. Imputación: Imputar las entradas faltantes (común cuando los modelos no son evaluados en todos los benchmarks) utilizando las medias de columna. Los autores señalan que el uso de valores centinela (por ejemplo, -1) inyecta señales de falsos negativos en los cálculos de distancia.
3. Embedding y Normalización:
   • Las tareas se representan mediante un vector combinado: $z_{combined} = [\alpha \hat{z}_{sem} \parallel (1-\alpha) \hat{z}_{beh}]$.
   • $\hat{z}_{sem}$ es un embedding semántico (Voyage-3-Large).
   • $\hat{z}_{beh}$ es un vector conductual de 18 dimensiones que codifica el estado de aprobado/fallo a través de los modelos.
   • Los autores encuentran que $\alpha=0.1$ (dominante conductual) es óptimo, ya que un pequeño componente semántico ayuda a separar los clusters fronterizos sin ahogar la señal conductual.
   • Los vectores están normalizados con L2.
4. Clustering: Reducir la dimensionalidad mediante UMAP (o PCA como alternativa) a 30 dimensiones, luego realizar el clustering usando HDBSCAN.
5. Etiquetado: Los clusters se etiquetan mediante ejemplares inducidos por prompts de LLM (usando los 5 vecinos más cercanos).

Protocolo de Validación: Leave-One-Model-Out (LOMO)

Para validar la taxonomía sin circularidad, los autores utilizan un protocolo LOMO:

• Se deja fuera un modelo ($m^*$).
• La taxonomía se reconstruye utilizando los $N-1$ modelos restantes.
• El perfil de debilidad del modelo excluido se evalúa posteriormente contra esta nueva taxonomía utilizando dos métricas:
  1. Eficiencia Diagnóstica: ¿Qué tan bien el muestreo condicionado a la taxonomía (seleccionar tareas para cubrir todos los clusters) recupera el ranking de debilidad del modelo excluido en comparación con el muestreo aleatorio o estratificado? (Medido por la $\tau$ de Kendall).
  2. Predicción Trans-Modelo: ¿Puede predecirse el perfil de fallo del modelo excluido basándose en su similitud con los modelos de entrenamiento? (Medido por el AUC).

3. Contribuciones Clave y Resultados

El artículo valida FAILURESCOPE a través de tres regímenes distintos, demostando que el mismo primitivo produce clusters estables e interpretables en cada uno.

A. Benchmarks de Un Solo Turno

• Dataset: 2,664 tareas de 6 benchmarks (GSM8K, ARC, MMLU, HumanEval, MBPP, IFEval) evaluadas en 18 modelos.
• Clustering: El ajuste dominante conductual ($\alpha=0.1$) produce 25 clusters estables con un coeficiente de silueta de 0.12. Crucialmente, el 86.7% de los clusters abarcan múltiples benchmarks, lo que indica que las firmas de fallo trascienden los límites de datasets específicos.
• Eficiencia Diagnóstica: Bajo LOMO, el muestreo condicionado a la taxonomía logra una $\tau$ de Kendall de 0.81 con 50 tareas. Esto es significativamente mejor que la selección aleatoria ($\tau=0.34$) y el muestreo estratificado por benchmark ($\tau=0.64$).
• Predicción: La predicción de fallos trans-modelo alcanza un AUC de 0.88 utilizando un enfoque de modelo más cercano.

B. Diálogo de Múltiples Turnos

• Dataset: 363 conversaciones de frontera difícil frente a 5 modelos de frontera, cubriendo 11 ejes de habilidades y 7 profundidades conversacionales.
• Clustering: El método recupera 6 clusters con una silueta alta de 0.92.
• Hallazgos Clave:
  • Colapso de Contexto Profundo: Un cluster grande (162 tareas, mayoritariamente profundidad-6) donde todos los modelos fallan universalmente, un patrón no visible en el análisis de un solo turno.
  • Resiliencia Selectiva al Modelo: Un cluster (n=11) muestra que Claude Sonnet 4.6 falla aproximadamente en el 70%, mientras que otros modelos fallan entre el 85 y el 100%.
  • Candidato Inmune a DeepSeek: Un pequeño cluster (n=10) donde DeepSeek tiene éxito mientras que las familias GPT y Claude fallan. Los autores tratan esto como una señal generadora de hipótesis que requiere replicación a mayor escala.

C. Ataques de Agentes Adversarios

• Dataset: 630 trazas de agentes de múltiples turnos contra un sandbox de ejecución de código, involucrando tres familias de ataques y tres modelos de frontera.
• Clustering: El método identifica 3 perfiles conductuales distintos:
  1. Fallo Meta de la Evaluación: Una brecha de entre 73 y 100 puntos porcentuales entre las Tasas de Éxito de Ataque (ASR) del juez LLM y el ASR de ejecución de red real en ataques de carga cognitiva. El cluster revela que el instrumento de evaluación (el juez) es poco fiable, no el modelo.
  2. Rechazo Composicional Selectivo: Claude Sonnet 4.6 exhibe un perfil único donde rechaza la carga útil maliciosa en el paso 2 (21/30 casos) a pesar de pasar el primer paso, mientras que GPT-5.4 ejecuta el ataque el 92% de las veces.
  3. Cumplimiento Composicional: GPT-5.4 y GPT-5.4-mini muestran altas tasas de ejecución, formando un cluster de "compromiso genuino" distinto de los clusters de fallo del instrumento y de rechazo.

4. Significación y Reivindicaciones

El artículo afirma que el agrupamiento conductual es un primitivo de diagnóstico portable que se generaliza más allá de cualquier benchmark individual.

• Portabilidad: El mismo algoritmo de cinco pasos produce taxonomías estables e interpretables a través de los regímenes de un solo turno, múltiples turnos y adversarios. Los autores enfatizan que, si bien los coeficientes de silueta difieren entre regímenes (0.12, 0.92, 0.71) debido a la variación en el número de clusters y dimensiones, la coherencia cualitativa y la utilidad downstream (alta $\tau$ y AUC) se mantienen constantes.
• Eficiencia: El método permite un diagnóstico estructurado eficiente. Los profesionales pueden evaluar un nuevo modelo en aproximadamente 50 tareas condicionadas a la taxonomía para recuperar un perfil de debilidad con alta fidelidad ($\tau=0.81$), o predecir el perfil sin evaluación mediante la predicción trans-modelo (AUC 0.88).
• Descubrimiento de Patrones Ocultos: El enfoque descubre modos de fallo invisibles para el análisis de un solo benchmark, como el colapso universal dependiente de la profundidad en el diálogo de múltiples turnos y la falta de fiabilidad de los jueces LLM en contextos adversarios específicos.

5. Limitaciones y Alcance

Los autores mantienen una postura modesta sobre sus afirmaciones:

• Extrapolación: La validación LOMO se sostiene para modelos dentro del mismo rango de capacidad. No afirman que una taxonomía construida sobre modelos de 7B–70B se transferiría a sistemas significativamente más fuertes (por ejemplo, clase GPT-5) sin ser reconstruida.
• Escasez de Datos: El método depende de la imputación para los datos faltantes de los benchmarks; datos de evaluación más ricos probablemente mejorarían la calidad del clustering.
• Subjetividad del Etiquetado: Las etiquetas de los clusters son generadas por LLMs. Aunque la estructura es robusta, las etiquetas de los modos de fallo específicos (por ejemplo, brecha de razonamiento vs. conocimiento) pueden ser ambiguas.
• Alcance: El corpus de un solo turno no cubre el razonamiento multimodal o las tareas de contexto largo, aunque los casos de estudio de múltiples turnos abordan algunos de estos vacíos con grupos de modelos más pequeños.

El artículo concluye liberando el pipeline, tres corpora anotados, taxonomías trans-regímenes y 1,203 tareas adversarias generadas para facilitar la investigación posterior en el diagnóstico estructurado de modelos.