LLMbench: A Comparative Close Reading Workbench for Large Language Models

Resumen Técnico: LLMbench

1. El Problema

El artículo identifica una brecha significativa en las herramientas actuales para la evaluación de Modelos de Lenguaje Grande (LLM).

• Limitación de las herramientas de ingeniería: Herramientas existentes como LLM Comparator (Google PAIR) o Chatbot Arena se centran en la evaluación cuantitativa, métricas de clasificación (win-rates) y puntuaciones de usuarios. Tratan el texto generado como evidencia para calificar al modelo, no como un objeto de estudio en sí mismo.
• Limitación de las Humanidades Digitales (DH): Las herramientas tradicionales de DH (como Voyant Tools o AntConc) asumen que el texto es un objeto fijo y estable. No están diseñadas para analizar textos que son objetos probabilísticos, es decir, textos que podrían haber sido diferentes en cada posición de token debido a la naturaleza estocástica de la generación.
• Necesidad Hermenéutica: Falta un entorno de trabajo que permita la "lectura cercana" (close reading) comparativa de las salidas de LLMs, donde se pueda inspeccionar no solo el texto final, sino la estructura probabilística subyacente (las alternativas no elegidas) desde la cual emergió el texto.

2. Metodología y Arquitectura

El autor presenta LLMbench, una plataforma basada en el navegador diseñada para la "hermenéutica comparativa de IA".

• Stack Tecnológico:

  • Construido con Next.js 16 y React 19.
  • Desplegado en Vercel utilizando el Vercel AI SDK para una interfaz unificada con múltiples proveedores (Anthropic, OpenAI, Google, Hugging Face, OpenRouter).
  • Utiliza CodeMirror 6 (un motor de edición de código) para la visualización del texto, lo que permite un sistema de anotación basado en líneas y "gutter" (margen), desafiando la percepción del texto como prosa natural y presentándolo como un objeto analizable.
  • Los datos se almacenan localmente en el navegador (localStorage); no se envían datos de usuario a servidores externos más allá de los proveedores de modelos.

• Enfoque Metodológico:

  • Hermenéutica Comparativa: Combina la lectura del texto realizado con la lectura de la distribución de probabilidad de la que fue extraído.
  • Estudios Críticos del Código (CCS): Adapta la metodología de anotación de CCS (Observación, Pregunta, Metáfora, Patrón, Contexto, Crítica) para analizar el texto generado por IA.
  • Principio Variorum: Aplica el concepto de 10 PRINT (comparar variantes de un mismo código) a los LLMs, tratando cada generación como una variante de un mismo prompt.

3. Contribuciones Clave y Funcionalidades

La herramienta ofrece seis modos principales que permiten desentrañar la estructura probabilística del texto:

A. Modo Comparar (Compare Mode):
Permite visualizar dos respuestas lado a lado con cuatro capas analíticas superpuestas:

1. Probabilidades (Probs): Utiliza datos de log-probabilities (logprobs) de la API.
   • Muestra un mapa de calor continuo: colores fríos para alta confianza, rojos para incertidumbre (alta entropía).
   • Incluye un panel de inspección que muestra la distribución de probabilidad de los top-k tokens alternativos en cada posición.
   • Visualizaciones avanzadas: Curvas de entropía (Sparklines), Mapas de píxeles (resumen espacial) y Terrenos 3D de probabilidad.
2. Diferencias (Diff): Realiza un diff a nivel de palabra entre las dos respuestas, resaltando palabras únicas y permitiendo comparar variaciones léxicas.
3. Estructura (Struct): Divide el texto en oraciones numeradas y resalta conectores discursivos (ej. "sin embargo", "por lo tanto") para analizar la gramática argumentativa.
4. Tono (Tone): Aplica el modelo de metadiscurso de Ken Hyland para categorizar el estilo retórico (Hedges, Boosters, Auto-menciones, etc.) mediante colores.

B. Modos de Análisis (Analyse Modes):
Cinco modos para realizar pruebas empíricas:

1. Variación Estocástica: Ejecuta el mismo prompt múltiples veces para medir la consistencia y diversidad del vocabulario.
2. Gradiente de Temperatura: Ejecuta el prompt en diferentes temperaturas (0.0 a 2.0) para observar cómo la aleatoriedad afecta la salida.
3. Sensibilidad al Prompt: Genera variaciones automáticas del prompt para medir la fragilidad de la respuesta ante pequeños cambios.
4. Probabilidades de Tokens: Análisis profundo de una sola respuesta, mostrando histogramas de entropía y tokens de máxima incertidumbre.
5. Divergencia Cruzada entre Modelos: Calcula métricas cuantitativas (Similitud de Jaccard, superposición de palabras) para comparar dos modelos distintos.

4. Resultados y Hallazgos

El artículo no presenta resultados de un experimento masivo, sino que demuestra la utilidad de la herramienta mediante un caso de estudio: comparar Gemini 2.0 Flash y GPT-4o respondiendo a un prompt sobre "Cibernética y Fantasmas" de Italo Calvino.

• Incertidumbre Diferencial: Se demuestra que dos modelos pueden tener niveles de incertidumbre radicalmente diferentes en la misma posición del token. Por ejemplo, en la posición 26, Gemini mostró una entropía alta (2.315 bits, 11.76% de probabilidad para el token elegido), mientras que GPT-4o mostró una entropía baja (1.567 bits, 49.27%).
• Forks (Bifurcaciones): La herramienta revela que las palabras elegidas a menudo no eran las más probables, sino el resultado de muestreo estocástico. Esto cambia la interpretación del texto, mostrando que la "decisión" del modelo fue contingente y no inevitable.
• Divergencia Semántica: Aunque ambos modelos responden al mismo prompt, sus estructuras argumentativas y trayectorias discursivas divergen significativamente, algo visible a través de las capas de "Tono" y "Estructura".
• Limitaciones Técnicas: Se reconoce que no todos los proveedores de API exponen datos de logprobs (ej. Claude de Anthropic no lo hace públicamente actualmente) y que la tokenización varía entre modelos, lo que complica la comparación exacta de posiciones de tokens.

5. Significado e Impacto

• Nueva Epistemología para la IA: LLMbench propone que el significado de un texto generado por IA no está oculto detrás del texto (en métricas de benchmark), sino que se "descubre" en el frente, en la nube de alternativas no elegidas.
• Herramienta Crítica: Permite a investigadores de humanidades y ciencias sociales realizar una lectura crítica de la "historia contrafactual" de un texto, entendiendo qué caminos no tomó el modelo y por qué.
• Legibilidad de lo Probabilístico: Convierte datos crudos de probabilidad (logprobs) en visualizaciones legibles, haciendo accesible la estructura interna de los modelos para el análisis humanístico.
• Futuro de la Investigación: Argumenta que el análisis de la distribución de probabilidad es un recurso subutilizado pero crucial para un estudio crítico de los modelos generativos, permitiendo distinguir entre lo determinista y lo contingente en la generación de texto.

En conclusión, LLMbench no es solo una herramienta de comparación, sino un entorno de investigación que transforma la manera en que se lee y se entiende la producción textual de la IA, integrando la precisión técnica de la ingeniería con la profundidad interpretativa de las humanidades digitales.