Resumen Técnico: "¿Pueden los LLM clasificar? Un cuento de tríadas y triaje"

Declaración del Problema

Los Modelos de Lenguaje de Gran Escala (LLM) se están desplegando cada vez más como "jueces" para tareas de asignación de recursos de alto riesgo, tales como la priorización de hogares para viviendas de emergencia o el triaje de pacientes en departamentos de emergencias. Aunque los LLM demuestran un razonamiento sofisticado, sus resultados son sensibles al orden de presentación y al encuadre de las instrucciones (prompt framing), lo que los hace frágiles para clasificar grupos grandes simultáneamente. Una estrategia de mitigación común, basada en la teoría de la elección social, es solicitar comparaciones por pares y agregarlas en un orden total.

Sin embargo, persiste una brecha crítica: los profesionales carecen de un método fiable para evaluar si los juicios por pares de un LLM son suficientemente consistentes como para confiar en la clasificación resultante antes de su despliegue. La literatura existente suele tratar las métricas de consistencia y la precisión de la clasificación como preocupaciones separadas, sin explorar la relación entre la consistencia intra-ejecución (la consistencia lógica interna de un conjunto de juicios único) y la varianza inter-ejecución (la estabilidad del resultado de la clasificación a través de múltiples ejecuciones). Este artículo investiga si estos dos ejes de fiabilidad son independientes y cómo se comportan tanto en aplicaciones de LLM sintéticas como en el mundo real.

Metodología

Marco Teórico

Los autores proponen una taxonomía de $2 \times 2$ de la fiabilidad de la clasificación definida por dos ejes independientes:

1. Consistencia Intra-Ejecución (IC): Medida por el Coeficiente de Consistencia ($\zeta$). Desarrollado originalmente por Kendall y Smith, $\zeta$ cuantifica la fiabilidad del juez contando tríadas circulares (triples $\{a, b, c\}$ donde $a \succ b \succ c \succ a$) en un grafo de torneo. Un valor de $\zeta = 1$ indica transitividad perfecta, mientras que $\zeta = 0$ indica máxima ciclicidad. El artículo deriva el comportamiento asintótico de $\zeta$ a medida que aumenta el número de candidatos $n$, mostrando que depende de la tasa de inconsistencia $r$ y un factor de escala.
2. Varianza Inter-Ejecución (IV): Medida por la distancia de Kendall $\tau$ entre las clasificaciones generadas por ejecuciones independientes del mismo proceso. Esto captura la estabilidad de la clasificación final.

Los autores caracterizan teóricamente la relación entre $n$, $\zeta$ y $\tau$ bajo el modelo Bradley-Terry-Luce (BTL), un modelo generativo estándar para comparaciones por pares con una verdad de base conocida.

Diseño Experimental

El estudio evalúa estas métricas a través de dos dominios:

• Asignación de Vivienda para Personas sin Hogar: Utilizando registros de entrada coordinada de St. Louis (VI-SPDAT, VIF-SPDAT, TAY-VISPDAT) para adultos solos, familias y jóvenes en transición.
• Triaje de Departamentos de Emergencia: Utilizando datos de MIMIC-IV con etiquetas de Índice de Severidad de Emergencia (ESI).

Modelos: Se probaron localmente tres de los principales LLM: Meta-Llama-3-8B-Instruct, DeepSeek-R1-Distill-Llama-8B y Qwen2.5-7B-Instruct.

Procedimiento:

1. Evaluación de Subtorneo: Para cada conjunto de datos, se generó un subtorneo completo de $m=30$ elementos ($435$ comparaciones por pares por modelo). Se calculó $\zeta$ de forma exacta y se midió la auticonsistencia ($\tau_{cons}$) mediante submuestreo de bootstrap.
2. Pipeline Disperso Completo: El proceso se ejecutó en conjuntos más grandes ($n$ hasta 698) con una probabilidad de muestreo de aristas $p=0.4$ para simular restricciones del mundo real. Los autores midieron cómo $\hat{\zeta}$ (estimado a partir de datos dispersos) y $\tau_{cons}$ escalaron con $n$.

Contribuciones Clave

1. Caracterización Teórica de $\zeta$: El artículo demuestra que, bajo el modelo BTL con discriminabilidad fija, la tasa de inconsistencia $r$ disminuye como $\Theta(1/n^2)$, causando que $\zeta$ converja hacia 1 a medida que $n$ aumenta. Esto establece una línea base teórica donde la consistencia mejora con la escala.
2. Desacoplamiento de los Ejes de Consistencia: A través de experimentos sintéticos, los autores demuestran que $\zeta$ y $\tau_{cons}$ están correlacionados pero no son redundantes. Específicamente, $\zeta$ mide la calidad de la señal de comparación (intransitividad), mientras que $\tau_{cons}$ depende tanto de la calidad de la señal como de la cantidad de comparaciones disponibles por elemento.
3. Divergencia Empírica en Datos Reales: Contrario al modelo BTL, los datos de LLM del mundo real exhiben una tasa de inconsistencia constante ($r$) a medida que $n$ aumenta. En consecuencia, $\zeta$ se estabiliza cerca de un suelo asintótico en lugar de mejorar, mientras que $\tau_{cons}$ continúa aumentando con $n$ debido a la acumulación de puntos de datos.
4. Perfiles de Rendimiento Específicos del Modelo: El estudio revela que ningún LLM domina ambos ejes.
   • LLaMA: Logra consistentemente la mayor consistencia intra-ejecución ($\zeta$) pero exhibe una menor estabilidad inter-ejecución.
   • Qwen: Logra la mayor estabilidad inter-ejecución ($\tau_{cons}$) pero tiene la menor consistencia intra-ejecución.
   • DeepSeek: Típicamente ocupa un punto medio en ambas dimensiones.

Resultados

• Comportamiento Sintético vs. Real: En los datos sintéticos BTL, $\zeta$ aumenta con $n$. En los datos reales generados por LLM, $\zeta$ permanece aproximadamente constante a través de diferentes valores de $n$, lo que indica que la tasa de inconsistencia $r$ no disminuye con la escala como predice el modelo idealizado.
• Utilidad Diagnóstica: Se demuestra que el estimador disperso $\hat{\zeta}$ es insesgado a través de diferentes probabilidades de observación ($p$), permitiendo a los profesionales estimar la calidad de la comparación incluso con datos incompletos.
• Compromisos (Trade-offs): El artículo destaca un compromiso crítico: un modelo con $\zeta$ alto (LLaMA) puede producir clasificaciones que son lógicamente coherentes internamente pero inestables entre ejecuciones, mientras que un modelo con $\tau_{cons}$ alto (Qwen) puede producir clasificaciones estables pero internamente intransitivas.

Significado y Reivindicaciones

El artículo sostiene que confiar en una sola métrica (ya sea $\zeta$ o $\tau_{cons}$) es insuficiente y potencialmente engañoso para evaluar la fiabilidad de un LLM en tareas de clasificación de alto riesgo.

• Ejes Independientes: Los autores afirman que la consistencia intra-ejecución y la varianza inter-ejecución son ejes de fiabilidad genuinamente independientes. Un sistema puede ser internamente consistente pero inestable (baja IV, alta IC), o estable pero internamente intransitivo (alta IV, baja IC).
• Protocolo de Diagnóstico Práctico: El artículo propone un diagnóstico de dos pasos para los profesionales:
  1. Ejecutar un subtorneo pequeño y completo para calcular $\zeta$. Si $\zeta$ es bajo, el proceso de comparación es fundamentalmente intransitivo, y ninguna cantidad de datos adicionales arreglará la clasificación.
  2. Si $\zeta$ es alto pero $\tau_{cons}$ es bajo, el problema es la cantidad insuficiente de datos, no la calidad de la señal; el remedio es aumentar la fracción de muestreo en lugar de cambiar el modelo.
• Selección de Modelos: Los resultados sugieren que la selección de modelos debe ser específica del dominio. Si un interesado prioriza la coherencia lógica de los juicios individuales, se puede preferir LLaMA. Si priorizan la estabilidad del resultado final a través de las ejecuciones, se puede preferir Qwen.

El artículo concluye que la taxonomía propuesta proporciona un marco necesario para ir más allá de las simples métricas de precisión hacia una comprensión más matizada de la fiabilidad de la IA en la toma de decisiones trascendentales.