🤖 AI

LLM Jaggedness Unlocks Scientific Creativity

Este artículo presenta la evaluación SciAidanBench para demostrar que la progresión desigual y "aserrada" de las capacidades de los modelos de lenguaje grandes en distintos dominios científicos puede aprovecharse estratégicamente mediante métodos de conjunto para potenciar significativamente la creatividad científica impulsada por la IA más allá de los límites de cualquier modelo individual.

Autores originales: Shray Mathur, J. Anibal Boscoboinik, Esther H. R. Tsai, Kevin G. Yager

Publicado 2026-05-12

📖 5 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Shray Mathur, J. Anibal Boscoboinik, Esther H. R. Tsai, Kevin G. Yager

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás intentando construir la "Máquina de Ideas" definitiva para ayudar a los científicos a idear nuevos experimentos y descubrimientos. Podrías asumir que, a medida que estas máquinas (modelos de IA) se vuelven más grandes e inteligentes, mejoran en todo de manera suave y predecible.

Este artículo argumenta que no es así como funciona. En cambio, el progreso de la IA es "irregular".

Piensa en un modelo de IA no como un camino liso y plano, sino como una cordillera rocosa. Algunas partes de la montaña son picos imponentes donde la IA es un genio; otras partes son valles profundos donde tropieza y falla. A veces, hacer la montaña más alta (aumentar el tamaño del modelo) no ayuda a los valles; incluso podría hacer los acantilados más empinados.

Aquí tienes un desglose de lo que descubrieron los investigadores, utilizando analogías sencillas:

1. El paisaje "irregular"

Los investigadores crearon una prueba llamada SciAidanBench. Imagina una caja gigante con 155 preguntas científicas abiertas, que van desde "¿Cómo detectamos una nueva fuerza de la naturaleza?" hasta "¿Cómo administramos medicamentos a células específicas?".

Preguntaron a 30 modelos de IA diferentes que respondieran estas preguntas. No solo querían una respuesta correcta; querían que los modelos generaran tantas ideas únicas y coherentes como fuera posible.

El descubrimiento:

General vs. Ciencia: Una IA que es excelente en escritura creativa general (como escribir una historia) no necesariamente es excelente en creatividad científica. Es como un chef que es increíble horneando pasteles pero terrible asando filetes. Las habilidades no se transfieren de manera suave.
El efecto "ráfaga": Incluso los modelos de IA más inteligentes son inconsistentes. En algunas preguntas, tienen una "ráfaga" de genio y generan 50 grandes ideas. En la siguiente pregunta, podrían generar solo 2. Los modelos más fuertes no hacen simplemente más de todo; simplemente tienen oscilaciones más amplias entre "aceptable" y "asombroso".
El experto "puntiagudo": Dentro de un solo modelo, la IA podría ser un genio en Física pero luchar con la Biología. Su conocimiento no es una manta suave; es una colección de picos afilados.

2. Convertir la "irregularidad" en una superpoder

Por lo general, la gente piensa que estas habilidades desiguales son un error. Los investigadores dicen: No, es una característica.

Si tienes un equipo de personas donde todos son buenos en cosas diferentes, puedes construir un superequipo. Los investigadores probaron tres formas de combinar estos modelos de IA "irregulares" para crear un Meta-Modelo (un equipo de IAs trabajando juntas):

Pensar más tiempo (Cálculo en tiempo de inferencia):
- La analogía: Imagina pedirle a un estudiante que resuelva un problema de matemáticas. Si le permites simplemente gritar la primera respuesta, podría estar equivocado. Si le dices: "Tómate 5 minutos para pensar, escribe tus pasos y revisa tu trabajo", obtiene resultados mucho mejores.
- El resultado: Cuando se permitió a la IA "pensar" más tiempo (generar más pasos de razonamiento interno antes de responder), produjo significativamente más ideas científicas creativas.
Agrupar conocimientos (El enrutador):
- La analogía: Imagina un hospital. No le pides al cirujano cardíaco que arregle una pierna rota. Derivas al paciente al especialista.
- El resultado: Los investigadores construyeron un sistema que analizaba la pregunta. Si era sobre Física, enviaba la pregunta a la IA que era mejor en Física. Si era sobre Biología, la enviaba al experto en Biología. Este equipo "Enrutador" superó a cualquier modelo de IA individual porque siempre utilizaba al experto adecuado para el trabajo.
Lluvia de ideas juntos:
- La analogía: Imagina un grupo de artistas en una habitación. El Artista A pinta una línea. El Artista B ve esa línea y añade una forma. El Artista C ve la forma y añade color. Construyen sobre el trabajo del otro.
- El resultado: Los investigadores permitieron que cinco modelos de IA diferentes tomaran turnos añadiendo ideas a una sola lista. Un modelo sugería una idea, y el siguiente modelo la leía e intentaba mejorarla o expandirla. Esta "reacción en cadena" de ideas creó un conjunto de soluciones mucho más rico que cualquier modelo individual podría lograr solo.

3. El equipo definitivo (Top-5-Parallel)

Los investigadores combinaron los tres métodos. Tomaron los cinco mejores modelos de IA, les permitieron pensar profundamente y los hicieron trabajar juntos en una sesión de lluvia de ideas donde podían ver las ideas de los demás.

El resultado: Este "Superequipo" superó a cada modelo de IA individual por sí solo. No solo funcionó un poco mejor; suavizó los bordes irregulares. Donde un modelo tenía un "valle" (un punto débil), otro modelo tenía un "pico", y juntos cubrieron toda la montaña.

La conclusión

El artículo concluye que no deberíamos intentar simplemente construir una IA "perfecta" que sea buena en todo. En cambio, deberíamos aceptar el hecho de que las IAs son desiguales. Al reconocer sus fortalezas y debilidades específicas, y al hacer que trabajen juntas en equipos, podemos desbloquear un nivel de creatividad científica que ninguna máquina individual podría lograr nunca sola.

En resumen: La IA no es una máquina suave y perfecta. Es un paisaje irregular y rocoso. Pero si sabes cómo navegar las rocas y reunir a los escaladores adecuados, puedes alcanzar los picos más altos.

Resumen Técnico: La Irregularidad de los LLM Desbloquea la Creatividad Científica

Declaración del Problema

A medida que avanza la inteligencia artificial, las capacidades de los modelos no mejoran de manera uniforme en tareas, dominios o escalas. En cambio, el progreso sigue una "frontera irregular", donde la competencia es desigual e irregular. Si bien la literatura previa ha identificado la irregularidad a través de tareas, escalas de modelos, profundidades de razonamiento y complejidades de problemas, una caracterización sistemática de este fenómeno específicamente en el contexto de la generación de ideas científicas sigue siendo poco explorada. Los autores postulan que la creatividad científica, al ser abierta y generativa, ofrece una lente ideal para revelar estas disparidades de capacidad. Además, mientras que los esfuerzos anteriores para mejorar la diversidad de los LLM a menudo dependen de intervenciones de entrenamiento intensivas en recursos computacionales o flujos de trabajo estructurados con múltiples LLM que limitan la generación abierta, existe la necesidad de comprender cómo aprovechar, en lugar de simplemente suavizar, estos bordes irregulares para mejorar el descubrimiento científico impulsado por la IA.

Metodología

Para investigar esto, los autores introducen SciAidanBench, un conjunto de datos de referencia que comprende 155 preguntas científicas abiertas curadas por investigadores del Laboratorio Nacional de Brookhaven. Las preguntas abarcan seis dominios científicos: Física (subdividida en Fundamental, Astrofísica, Sincrotrón y Materia Condensada), Química, Biología, Neurociencia, Nanociencia y Ciencias Ambientales. Las preguntas están formuladas para fomentar la generación de conceptos (por ejemplo, "Proponga un método para...") en lugar de la recuperación de hechos.

El estudio evalúa 30 variantes de 19 modelos base de 8 proveedores (incluyendo OpenAI, Anthropic, Google y modelos locales como LLaMA 3.3 y Mistral). El protocolo de evaluación sigue la metodología de AidanBench:

Generación Iterativa: Para cada pregunta, se solicita al modelo que genere una idea inicial ( $r_1$ ) y luego se le vuelve a solicitar iterativamente para generar ideas subsiguientes ( $r_2, r_3, \dots$ ) manteniendo el contexto de las salidas anteriores.
Evaluación de Doble Restricción: Cada nueva idea debe ser tanto coherente (lógicamente consistente y que responda al prompt) como novedosa (distinta de todas las respuestas anteriores).
Métricas de Puntuación:
- Novedad basada en Incrustaciones: Distancia coseno entre la nueva respuesta y las respuestas anteriores utilizando un modelo de incrustaciones preentrenado.
- Novedad basada en LLM: Un LLM juez (o1-mini) evalúa las puntuaciones de similitud frente a las respuestas anteriores.
- Coherencia: Un LLM juez califica la consistencia lógica en una escala de 0 a 100.
- La generación se detiene cuando una respuesta cae por debajo de los umbrales de novedad (<0.15) o coherencia (<15). El recuento total de respuestas válidas sirve como proxy para el potencial creativo.

Contribuciones Clave

SciAidanBench: El primer conjunto de datos de referencia diseñado específicamente para medir la creatividad científica de los LLM mediante la generación sostenida y abierta de ideas en diversos subcampos científicos.
Caracterización de la Irregularidad: Una demostración sistemática de que la irregularidad se manifiesta en tres niveles distintos:
- Entre Tareas: Las mejoras en la creatividad general no se traducen uniformemente en creatividad científica.
- A Nivel de Prompt: Los modelos más fuertes exhiben una alta variabilidad, mostrando "ráfagas" de creatividad en preguntas específicas mientras luchan con otras.
- A Nivel de Dominio: Los modelos individuales muestran perfiles internos fragmentados, con fortalezas desiguales en subcampos científicos.
Ensamblajes de Meta-Modelos: La propuesta y evaluación de estrategias de ensamblaje que tratan la irregularidad como un recurso. Los autores introducen mecanismos para combinar modelos:
- Cómputo en Tiempo de Inferencia: Aprovechar los tokens de razonamiento para expandir el espacio de soluciones.
- Agrupación de Conocimiento: Enrutamiento de preguntas a modelos con fortalezas específicas en dominios.
- Lluvia de Ideas: Habilitar el refinamiento de ideas entre modelos donde los modelos construyen sobre las salidas de los demás.
- Top-5-Paralelo: Una configuración que integra los tres mecanismos.

Resultados

Divergencia Entre Tareas: Si bien la creatividad general y la científica están positivamente correlacionadas ( $r=0.76$ ), la relación no es uniforme. Los modelos que ocupan un lugar alto en creatividad general no necesariamente ocupan un lugar alto en creatividad científica. Por ejemplo, los modelos de OpenAI mostraron una fuerte creatividad general pero se estancaron en tareas científicas, mientras que los modelos de Anthropic superaron en creatividad científica en relación con su rendimiento general.
Variabilidad a Nivel de Prompt: Los modelos más fuertes (por ejemplo, o3-high, Gemini-2.5-Pro) exhiben distribuciones más amplias de recuento de respuestas, lo que indica que sus puntuaciones promedio más altas son impulsadas por "ráfagas" de alta creatividad en prompts específicos en lugar de una mejora uniforme. Los modelos más débiles muestran distribuciones consistentemente bajas y estrechas.
Fragmentación de Dominios: Los modelos de mejor rendimiento muestran picos distintos en el rendimiento a través de subcampos. Por ejemplo, Gemini-2.5-Pro destacó en Física de la Materia Condensada pero fue más débil en Nanociencia, mientras que Claude-3.7-Sonnet-Thinking-16k fue el más fuerte en Neurociencia pero más débil en Física Fundamental.
Superioridad de los Ensamblajes:
- Cómputo en Tiempo de Inferencia: Los modelos de razonamiento (por ejemplo, Claude-3.7-Sonnet-Thinking) superaron significativamente a las variantes sin razonamiento, con un rendimiento que seguía el consumo real de tokens en lugar del presupuesto asignado.
- Agrupación de Conocimiento: Un ensamblaje "Enrutador", que dirigía las preguntas al modelo de mejor rendimiento para cada dominio específico, superó al modelo individual más fuerte en cada dominio.
- Lluvia de Ideas: Un ensamblaje "Top-5" (muestreo de los cinco mejores modelos individuales) superó a todos los modelos individuales. Sin embargo, un ensamblaje "Top-5 Proveedores" (diversificando por proveedor pero no necesariamente por capacidad) no logró superar al modelo individual más fuerte, lo que sugiere que el nivel de capacidad es más crítico que la diversidad de proveedores por sí sola.
- Top-5-Paralelo: El ensamblaje que combina cómputo en tiempo de inferencia, agrupación de conocimiento y lluvia de ideas logró las puntuaciones más altas tanto en los criterios de creatividad general como científica, superando a cualquier modelo individual o ensamblaje de mecanismo único.

Significado y Afirmaciones

El artículo argumenta que la irregularidad no es meramente una limitación, sino un recurso estructural del progreso de la IA. En lugar de considerar los perfiles de capacidad desiguales como defectos que deben eliminarse mediante la escalabilidad o la alineación, los autores demuestran que estas irregularidades pueden aprovecharse. Mediante la orquestación de modelos heterogéneos a través de ensamblajes de meta-modelos, es posible transformar la fragmentación en sinergia, amplificando la generación de ideas científicas más allá de los límites de cualquier modelo individual.

Los autores concluyen que las ganancias futuras en la generación abierta de ideas científicas pueden surgir cada vez más de sistemas que reconozcan, midan y orquesten explícitamente la inteligencia irregular. Sugieren que la investigación futura debería explorar perturbaciones deliberadas de prompts (por ejemplo, siembra entre dominios) para acceder a modos creativos subutilizados e investigar estructuras de equipo óptimas (jerárquicas vs. horizontales) para ensambles colaborativos. El trabajo posiciona a SciAidanBench tanto como un criterio para la ideación científica como un marco para revelar y aprovechar la heterogeneidad estructural en las capacidades de los modelos.