⚡ ingeniería eléctrica

The Novelty Horizon H_N: Why Large Language Models Fail to Generate Scientific Data beyond Their Training Distribution

Este artículo demuestra que los Grandes Modelos de Lenguaje fallan fundamentalmente al generar datos científicamente válidos más allá de su distribución de entrenamiento debido a una falta de fundamentación física y razonamiento causal, estableciendo un "Horizonte de Novedad" que requiere sistemas neuro-simbólicos híbridos para el descubrimiento científico genuino.

Autor original: Alex Mwololo Kimuya, Mary Mwadulo, Dickson Mwenda Kinyua

Publicado 2026-11-04✓ Author reviewed ⓘ

📖 6 min de lectura🧠 Análisis profundo

CC BY 4.0

Autor original: Alex Mwololo Kimuya, Mary Mwadulo, Dickson Mwenda Kinyua

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita por el autor. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

En el laboratorio moderno, ha llegado un nuevo tipo de asistente, uno que puede leer millones de artículos científicos y escribir informes fluidos en segundos. Estos sistemas de inteligencia artificial, conocidos como modelos de lenguaje extensos, son entrenados con vastas colecciones de texto humano. Son excepcionalmente buenos encontrando patrones en las palabras y prediciendo qué oración sigue a la anterior. Debido a que pueden imitar tan bien el estilo de un artículo de investigación, muchos científicos han comenzado a preguntarse si estas máquinas pueden hacer más que simplemente resumir el conocimiento existente. ¿Podrían generar nuevos datos válidos para experimentos que nunca han visto? ¿Podrían actuar como un compañero en el descubrimiento, creando los números y mediciones que forman la base de la verdad científica? Esta pregunta toca el corazón de cómo funciona la ciencia. La ciencia real se basa en medir el mundo físico, donde cada medición conlleva una pequeña pizca de incertidumbre y donde la causa y el efecto siguen leyes estrictas e inquebrantables. Si una máquina simplemente está adivinando la siguiente palabra basándose en lo que ha leído antes, podría sonar convincente, pero ¿realmente entiende la realidad que está describiendo?

Un equipo de investigadores de Kenia se propuso responder a esta pregunta con una prueba rigurosa que fue más allá del texto y entró en el reino de los datos físicos duros. Se centraron en un experimento eléctrico específico que involucraba un cortocircuito, una situación en la que un cable conecta los extremos positivo y negativo de una fuente de energía, provocando una enorme sobrecarga de electricidad. En su configuración, añadieron un componente especial llamado diodo, que actúa como una válvula de una sola vía para la electricidad, limitando el voltaje a un nivel específico para proteger el circuito. Esto crea un comportamiento no lineal complejo donde la relación entre el voltaje y la corriente no es una línea recta simple, sino una curva que cambia dependiendo de las condiciones. Los investigadores querían ver si una inteligencia artificial podía generar un conjunto de datos realista para este experimento específico, completo con las fluctuaciones diminutas y aleatorias que los sensores reales siempre captan.

Para probar esto, los investigadores crearon tres conjuntos de datos diferentes. El primero fue la verdad de campo: mediciones reales tomadas de un circuito físico en un laboratorio, registradas con alta precisión. El segundo conjunto provino de una inteligencia artificial a la que se le dieron solo los números básicos del experimento, como las clasificaciones de voltaje y corriente, y se le pidió que escribiera un programa de computadora para simular los resultados. El tercer conjunto provino del mismo tipo de inteligencia artificial, pero esta vez los investigadores le dieron las instrucciones detalladas de cómo se construyó el experimento y cómo se tomaron las mediciones, con la esperanza de que este contexto adicional ayudara a la máquina a producir mejores resultados. Luego sometieron los tres conjuntos de datos a un análisis forense, comparándolos contra las leyes inquebrantables de la física que gobiernan la electricidad.

Los resultados fueron crudos y reveladores. La inteligencia artificial no logró generar datos científicamente válidos en ningún caso. Cuando la máquina intentó simular el experimento, produjo números que parecían plausibles en la superficie, pero que eran físicamente imposibles tras una inspección cercana. Uno de los errores más flagrantes fue lo que los investigadores llamaron un "artefacto de álgebra perfecto". En un experimento real, el voltaje y la corriente se miden de forma independiente por diferentes sensores y, debido a las diminutas imperfecciones del equipo, los números nunca coinciden perfectamente cuando se calcula la resistencia. Siempre hay una pequeña brecha aleatoria entre los valores. Sin embargo, la inteligencia artificial trató las leyes de la física como una ecuación matemática para ser resuelta exactamente. Generó valores de voltaje y corriente que encajaban con una precisión perfecta a nivel de máquina, sin dejar lugar al ruido natural de la medición. Esto es como una persona dibujando un mapa donde cada intersección de calles está perfectamente alineada, mientras que un mapa real de una ciudad tendría ligeras desalineaciones naturales porque las carreteras fueron construidas por diferentes cuadrillas en diferentes momentos.

El fallo fue más profundo que solo números perfectos. La inteligencia artificial también tuvo dificultades para entender el comportamiento específico del diodo en el circuito. Cuando los investigadores le dieron a la máquina las instrucciones detalladas, esta sí logró ajustar la escala de sus números para acercarse a la realidad, pero aun así erró en la física fundamental. Generó datos que sugerían que la electricidad se estaba comportando de una manera lineal y predecible, perdiendo por completo el efecto de "limitación" no lineal que el diodo debía crear. Los datos que produjo tenían patrones estadísticos extraños, con picos y formas que no ocurren en la naturaleza. Por ejemplo, el ruido en los datos de la máquina era demasiado plano o tenía picos extraños, a diferencia del ruido natural y ondulante de los sensores electrónicos reales. Incluso cuando los investigadores le pidieron a la máquina que emitiera los números directamente sin escribir código primero, los resultados fueron igual de defectuosos, demostrando que el problema no era un error de codificación, sino una incapacidad fundamental para comprender la estructura causal del mundo físico.

Los investigadores concluyeron que estos modelos de inteligencia artificial están atrapados por lo que llaman un "Horizonte de Novedad". Este es un límite definido por los datos con los que el modelo fue entrenado. Dentro de este límite, la máquina puede desempeñarse bien porque simplemente está reorganizando patrones que ya ha visto. Pero cuando se le pide generar datos para una situación nueva y compleja que requiere comprender la causa y el efecto de una manera que nunca se le ha enseñado, choca contra un muro. No puede extrapolar más allá de su entrenamiento. Puede imitar las palabras de un científico, pero no puede simular la realidad desordenada, incierta y causal de un experimento. El estudio muestra que, si bien estas herramientas son poderosas para resumir información o redactar textos, no se puede confiar en ellas para crear nuevos datos científicos o para actuar como descubridores independientes. El científico humano sigue siendo esencial, no solo para revisar el trabajo, sino para proporcionar el razonamiento causal y el diseño experimental que la máquina carece fundamentalmente. El futuro de la ciencia con la inteligencia artificial dependerá probablemente de combinar estas herramientas con la supervisión humana, utilizando la máquina para lo que es buena mientras se mantiene al humano en el proceso para el arduo trabajo del descubrimiento.

Resumen Técnico: El Horizonte de la Novedad y los Límites de los LLM en la Generación de Datos Científicos

Planteamiento del Problema
La integración de los Modelos de Lenguaje de Gran Escala (LLM) en los flujos de trabajo científicos ha planteado interrogantes críticos sobre su capacidad para el descubrimiento empírico genuino. Mientras que los LLM sobresalen en la generación de texto lingüísticamente plausible mediante el reconocimiento de patrones estadísticos, carecen de un modelo fundamentado de la realidad física. Este artículo aborda la brecha epistemológica específica entre la "plausibilidad lingüística" y el "rigor científico". El problema central es si los LLM autorregresivos, que operan prediciendo el siguiente token basándose en distribuciones de entrenamiento, pueden generar datos científicamente válidos y empíricamente fieles para tareas que requieren extrapolación más allá de sus datos de entrenamiento. Los autores argumentan que la confusión de la indistinguibilidad estadística con la validez empírica supone una amenaza para la integridad de la investigación, ya que los modelos pueden producir "alucinaciones" físicamente imposibles que satisfacen patrones textuales pero violan las leyes físicas causales.

Metodología
Para probar la hipótesis de que los LLM autorregresivos no pueden generar datos válidos más allá de su distribución de entrenamiento, los autores emplearon un marco analítico forense fundamentado en la física. El estudio utilizó un diseño comparativo tripartito centrado en un experimento de cortocircuito con diodo de sujeción, un sistema elegido porque su física no lineal y sus características específicas de ruido se encuentran fuera del envolvente convexo típico de los corpus de entrenamiento estándar.

La metodología consistió en la generación de tres conjuntos de datos paralelos:

Caso 1 (No guiado): Un LLM (clase GPT-5.2) generó un script de simulación y datos basándose únicamente en parámetros básicos de circuito (2.5V/0.25A, 5.0V/0.5A) sin contexto procedimental.
Caso 2 (Guiado): El mismo LLM generó un script y datos tras recibir el procedimiento experimental completo, incluyendo esquemas de circuitos, especificaciones de componentes (diodos 1N5408, sensor ACS712T) y protocolos de promediado de datos.
Caso 3 (Verdad de Campo): Datos experimentales de una medición física del mismo sistema, que sirvieron como punto de referencia inmutable.

También se llevó a cabo un marco de prompt directo paralelo (detallado en la información suplementaria) donde el LLM generó datos numéricos directamente sin el paso intermedio de la generación de código, para determinar si los fallos eran artefactos del paradigma de codificación o fundamentales a la arquitectura del modelo.

Los conjuntos de datos fueron sometidos a un análisis forense de múltiples capas:

Análisis Temporal y Espectral: Examen de las funciones de autocorrelación (ACF) y densidades espectrales de potencia (PSD) para detectar firmas de ruido de sensores realistas (por ejemplo, ruido $1/f^\alpha$ ) frente a artefactos algorítmicos.
Validación de Restricciones Físicas: Pruebas de adherencia a la Ley de Ohm y la conservación de la potencia. Crucialmente, los autores analizaron los residuales óhmicos (la diferencia entre el voltaje medido y la resistencia derivada de la corriente) para verificar la independencia del ruido de la medición.
Ajuste de Modelo de Primeros Principios: Ajuste de los datos a una Ley de Ohm Modificada derivada de la física de semiconductores ( $v_s(t) = i(t)R_{sc} + nV_T \ln(i(t)/I_s)$ ) para evaluar la plausibilidad de los parámetros y la bondad de ajuste.
Análisis de Regímenes: Separación de los datos en regímenes lineales ( $|v_s| < 0.3V$ ) y no lineales ( $|v_s| \ge 0.3V$ ) para probar el rendimiento en el límite de la distribución de entrenamiento.
Puntuación de Fidelidad Generativa (GFS): Una métrica compuesta que sintetiza las restricciones físicas, las propiedades estadísticas y la calidad del ajuste del modelo.

Contribuciones Clave

Constructos Teóricos: El artículo define formalmente la Frontera de Información Pasada ( $B_P$ ) como la terna ordenada $(t_p, \Omega_{train}, C_{train})$ que representa la frontera temporal, el soporte de la distribución de entrenamiento y el conjunto de probabilidades condicionales aprendidas. Además, define el Horizonte de la Novedad ( $H_N$ ) como el límite más allá del cual un modelo no puede realizar de manera fiable tareas que requieran: (i) extrapolación fuera del envolvente convexo de $\Omega_{train}$ , (ii) razonamiento causal no codificado en $C_{train}$ , o (iii) información posterior a $t_p$ .
Autenticación Basada en la Física: Los autores introducen una metodología forense para detectar "artefactos algebraicos perfectos", donde los LLM tratan las leyes físicas como tautologías deterministas en lugar de relaciones entre mediciones independientes con ruido.
Validación Cuantitativa: El desarrollo de la Puntuación de Fidelidad Generativa (GFS) proporciona una métrica estandarizada para cuantificar la desviación de los datos sintéticos respecto a la realidad física.

Resultados
El estudio demuestra un fallo fundamental tanto de los LLM no guiados como de los guiados para generar datos científicamente válidos para tareas más allá del Horizonte de la Nvedad:

Inconsistencias Físicas Catastróficas: Ambos casos generados por LLM exhibieron un cierre algebraico perfecto, con residuales óhmicos del orden de $10^{-17} \Omega$ (precisión de máquina), en comparación con el valor de la verdad de campo experimental de $5.78 \times 10^{-3} \Omega$ . Esto indica que los modelos generaron variables dependientes de forma determinista en lugar de simular procesos de medición independientes.
Patologías Estadísticas: La generación guiada (Caso 2) produjo datos con anomalías estadísticas extremas, incluyendo valores de curtosis de 65.4 para la configuración de 2.5V y 84.3 para la configuración de 5.0V (basado en script), y superiores a 200 (prompt directo), además de firmas espectrales incorrectas que carecen del ruido característico $1/f$ de los sensores físicos.
Desubicación de Régimen: Los modelos fallaron al navegar correctamente el régimen de sujeción no lineal. El Caso 1 generó datos con voltajes altos erróneos, mientras que el Caso 2 confinó incorrectamente todos los datos al régimen lineal ( $|v_s| < 0.3V$ ), fallando en la simulación de la dinámica de sujeción del diodo a pesar de la guía procedimental explícita.
Fallo de Ajuste de Modelo: Los datos generados por LLM produjeron parámetros sin sentido al ser ajustados a la Ley de Ohm Modificada (por ejemplo, valores de $R^2$ negativos, parámetros que alcanzaban límites algorítmicos), mientras que los datos experimentales arrojaron parámetros de resistencia y de diodo físicamente plausibles.
Confirmación de Prompt Directo: El marco paralelo de prompt directo confirmó que estos fallos no son artefactos de la generación de código, sino que son intrínsecos a la arquitectura autorregresiva, revelando patologías distributivas aún más severas cuando se eliminaron las restricciones estructurales del código.

Significancia y Reivindicaciones
El artículo afirma establecer un límite definitivo para la aplicación de los LLM en la ciencia empírica. Argumenta que el Horizonte de la Novedad ( $H_N$ ) es un límite estructural inherente a los modelos autorregresivos entrenados en corpus estáticos. Los autores sostienen que:

Los LLM son capaces de interpolar dentro del envolvente convexo de sus datos de entrenamiento, pero fallan catastróficamente cuando se requiere extrapolar a configuraciones experimentales novedosas o estructuras causales no codificadas en su entrenamiento.
Proporcionar contexto procedimental (ingeniería de prompts) puede mejorar la escala numérica, pero no puede impartir el razonamiento causal o la comprensión de la independencia de la medición requerida para la generación de datos científicos válidos.
El "artefacto de álgebra perfecta" sirve como un diagnóstico fiable para detectar cuándo un LLM ha operado más allá de su Horizonte de la Novedad.
El papel de los LLM en la ciencia debe redefinirse como Inteligencia Aumentada: herramientas para la síntesis de literatura, completado de código y generación de hipótesis, pero no como agentes autónomos para el diseño experimental o la generación de datos.
El progreso futuro requiere sistemas neuro-simbólicos híbridos que integren el reconocimiento de patrones estadísticos con modelos de mundo causales formales y simuladores físicos para cruzar el Horizonte de la Novedad.

El artículo concluye que el papel indispensable de los científicos humanos en el razonamiento causal y el diseño experimental permanece inexpugnable, ya que los LLM actuales están limitados por su Frontera de Información Pasada y no pueden navegar la frontera del descubrimiento científico genuino por sí solos.

Más como este