Explain Like I'm 5 or Whatever I Choose: Evaluating the Interactive Potential of Language Model Responses

Resumen Técnico: Evaluación del Potencial Interactivo de las Respuestas de los Modelos de Lenguaje

Planteamiento del Problema
Las evaluaciones actuales de los Modelos de Lenguaje Extensos (LLM) en la búsqueda de información científica son cada vez más "centradas en el uso", involucrando interacciones en vivo o de múltiples turnos con usuarios reales. Sin embargo, estas evaluaciones asumen predominantemente una interfaz de chat única y estática. A medida que los LLM se integran en nuevas interfaces maleables (por ejemplo, herramientas de lectura o escritura con controles de manipulación directa), los marcos de evaluación existentes no logran contabilizar los criterios específicos de la interfaz. Específicamente, existe una falta de metodología para evaluar si los modelos pueden generar de manera confiable múltiples respuestas distintas a una sola consulta que varíen a lo largo de un eje interpretable, como la complejidad del lenguaje, para apoyar el control del usuario. Mientras que el trabajo previo se ha centrado en personalizar una única respuesta para una audiencia específica, este artículo aborda la necesidad de evaluar la capacidad de un modelo para generar un rango de respuestas que permitan al usuario seleccionar su nivel de complejidad preferido de forma dinámica.

Metodología
Los autores proponen un nuevo marco de evaluación basado en un estudio de usuario formativo y aplicado a una evaluación de modelos a gran escala.

1. Estudio de Usuario Formativo (N=16):

   • Diseño: Un estudio intrasujeto que compara una interfaz de chat convencional frente a una interfaz interactiva que cuenta con un deslizador para ajustar la complejidad del lenguaje (Niveles 1–5).
   • Tarea: Los participantes (principalmente investigadores de STEM) exploraron temas de STEM desconocidos.
   • Hallazgos: Los usuarios valoraron la agencia de la complejidad interactiva, pero señalaron que las interfaces convencionales a menudo proporcionaban una complejidad inconsistente. Los participantes identificaron tres impulsores clave de la complejidad percibida: Jerga (familiaridad de las palabras), Información (cantidad de detalle técnico) y Longitud. También señalaron que los cambios pequeños en la complejidad eran a menudo imperceptibles, lo que requería diferencias distintivas entre los niveles.

2. Marco de Evaluación del Modelo:

   • Datos: El estudio utilizó 98 consultas científicas escritas por expertos de ScholarQA-Multi (un subconjunto de ScholarQABench) a través de cinco disciplinas de STEM (Biología, Biofísica, Ciencias de la Computación, Fotónica, Física). También se probó una muestra más grande de 459 consultas generadas mediante un pipeline de RAG para verificar la robustez.
   • Modelos: Se evaluaron cinco modelos recientes: GPT-5.1, GPT-5 mini, Claude Sonnet 4.5, Claude Sonnet 4.5 + Thinking y DeepSeek-V3.1.
   • Protocolo de Generación: Para cada consulta, los modelos fueron instruidos para generar cinco versiones de una respuesta, ancladas a audiencias específicas que van desde "Estudiante universitario" hasta "Investigador sénior" (y alternativamente "Niño" a "Experto").
   • Medidas de Complejidad: Se definieron tres métricas basadas en el estudio de usuario y la literatura previa:
     • Jerga: Proporción de palabras que no están en la lista de palabras de Dale-Chall.
     • Información: Conteo de "hechos atómicos" independientes identificados mediante un pipeline de LLM.
     • Longitud: Conteo total de caracteres.
   • Criterio de Desempeño: El éxito no se define por la calidad de una única respuesta, sino por la direccionalidad del cambio entre las versiones. Un modelo tiene un buen desempeño si, a medida que aumenta la complejidad prevista, las medidas de Jerga, Información y Longitud aumentan de manera consistente.

Resultados Clave
La evaluación revela que los LLM actuales luchan por generar niveles de complejidad distintos de manera confiable cuando se les solicita:

• Ajuste de Complejidad Inconsistente: Aunque los modelos varían la complejidad a través de las respuestas, los cambios son frecuentemente inconsistentes. Para el modelo con mejor desempeño (Claude Sonnet 4.5), la medida de Jerga aumentó en la dirección correcta solo el 46% de las veces a través de los cinco niveles para una sola consulta. La medida de Información fue incluso menor, situándose en el 33%.
• Longitud vs. Complejidad: Los modelos aumentaron consistentemente la Longitud a medida que los niveles de complejidad subían (a menudo >98% de las entradas). Sin embargo, este aumento en la longitud no se correlacionó con aumentos en la Jerga o la Información. En muchos casos, los modelos incurrieron en la "simplificación elaborativa", añadiendo texto que explicaba conceptos en un lenguaje más sencillo, aumentando así la longitud mientras disminuían la densidad técnica.
• Rendimientos Decrecientes en Niveles Posteriores: Los modelos fueron significamente mejores diferenciando la primera transición (por ejemplo, de Estudiante universitario a Doctorando Junior) que las transiciones subsiguientes. Por ejemplo, GPT-5 mini aumentó correctamente la Jerga en el 87.76% de las entradas en la transición 1-a-2, pero esto cayó a aproximadamente el 60% para las transiciones posteriores.
• Robustez de los Hallazgos: Estos hallazgos se mantuvieron al aumentar el tamaño de la muestra a 459 consultas y al alterar los anclajes de audiencia a un rango más amplio (Niño a Experto). Si bien las métricas de desempeño mejoraron ligeramente con brechas de audiencia más amplias, los modelos aún fallaron frecuentemente al mover las medidas de complejidad en la dirección correcta, situándose a menudo cerca de los niveles de azar.

Significancia y Contribuciones
El artículo realiza tres contribuciones principales:

1. Un Nuevo Marco de Evaluación: Introduce un método para evaluar los LLM basándose en su capacidad para generar múltiples versiones distintas de una respuesta a través de una dimensión específica (complejidad del lenguaje), en lugar de evaluar una única "mejor" respuesta. Esto desplaza el enfoque de la personalización estática hacia el control interactivo del usuario.
2. Medidas de Complejidad Validadas: Establece un conjunto de tres medidas (Jerga, Información, Longitud) fundamentadas en la percepción del usuario y trabajos previos, proporcionando un criterio para evaluar la relación entre las versiones de la respuesta.
3. Evidencia Empírica de Limitaciones: El estudio demuestra que los modelos de vanguardia actuales a menudo fallan al ajustar la complejidad de manera confiable en la dirección correcta a través de múltiples versiones. Esto sugiere que, si bien los modelos pueden generar texto de longitudes variables, carecen del control fino necesario para soportar interfaces de manipulación directa donde los usuarios esperan cambios predecibles y monotónicos en la complejidad.

Los autores concluyen que, si bien las interfaces interactivas ofrecen un paradigma prometedor para el control del usuario, las capacidades actuales de los LLM son insuficientes para soportarlas de manera confiable sin una mejora significativa en la generación de variaciones de respuesta de múltiples niveles y consistentes. Los hallazgos resaltan una brecha entre el potencial de las interfaces maleables y la realidad actual del comportamiento de los modelos.