An Agentic AI Scientific Community for Automated Neural Operator Discovery

Resumen Técnico: Una Comunidad Científica de IA Agéntica para el Descubrimiento Automatizado de Operadores Neuronales

Declaración del Problema

El aprendizaje de operadores tiene como objetivo construir surogatos rápidos para los resolvedores de ecuaciones diferenciales parciales (PDE). Sin embargo, las familias existentes de operadores neuronales (por ejemplo, Operadores Neuronales de Fourier, DeepONets, operadores de Wavelet) codifican sesgos inductivos fijos adecuados para regímenes específicos. Además, la selección de hiperparámetros de arquitectura (profundidad, anchura, composición de bloques) para nuevas PDE sigue siendo un proceso manual. La cuestión central abordada es si una simulación agéntica y automatizada de una comunidad de investigación puede descubrir la arquitectura del operador neuronal óptima para un problema dado sin conocimiento previo humano o intervención.

Metodología

El Marco de la Comunidad Científica de IA

Los autores proponen una comunidad descentralizada de $N=16$ laboratorios virtuales que exploran el espacio de búsqueda de arquitecturas a lo largo de $T=20$ iteraciones. El sistema opera bajo una "economía de influencia basada en citas":

1. Dinámica de la Enjambre: Los laboratorios bien citados (aquellos con alta aptitud o fitness) ganan influencia y prioridad de reproducción, mientras que los laboratorios no citados son reemplazados. Esto imita las comunidades científicas del mundo real, donde las direcciones de investigación exitosas atraen seguidores.
2. Estructura del Laboratorio Virtual: Cada laboratorio contiene tres agentes distintos:
   • Planificador LLM: Propone el siguiente genoma de arquitectura basado en su historial, el mejor global y un resumen de los laboratorios pares.
   • Trabajador Numérico: Un agente no basado en LLM, de gradiente descendente, que compila la arquitectura propuesta, la entrena a "fidelidad de cribado" (datos/épocas reducidos para mayor velocidad) y mide el error relativo $L_2$.
   • Revisor LLM: Participa en la revisión por pares entre laboratorios, emitiendo votos suaves basados en el rendimiento de los candidatos y la novedad arquitectónica.
3. Espacio de Búsqueda (Genoma): Las arquitecturas se definen como secuencias de bloques ($L \in [2, 8]$) extraídos de un vocabulario: $\{ \text{BRANCH\_TRUNK, FOURIER, ATTENTION, WAVELET, RESIDUAL\_CONV} \}$. El genoma también incluye hiperparámetros como el ancho oculto, modos espectrales y tasas de aprendizaje.
4. Función de Aptitud (Fitness): Una puntuación compuesta $F_i$ combina precisión ($A_i$), robustez al ruido ($G_i$), eficiencia de parámetros ($E_i$) y novedad arquitectónica ($\nu_i$). La precisión tiene un peso elevado ($w_a=0.70$), pero la novedad y la eficiencia evitan el colapso hacia soluciones triviales.

Estudio de Ablación de LLM

Para aislar la contribución de la agencia del LLM, los autores realizaron un estudio de ablación controlado donde el planificador y el revisor LLM fueron reemplazados por algoritmos deterministas en la condición "basada en reglas":

• Planificador basado en reglas: Utiliza actualizaciones estándar de optimización de enjambre de partículas (exploración/explotación).
• Revisor basado en reglas: Utiliza votación proporcional a la precisión.
  Ambas condiciones comparten tamaños de enjambre, recuentos de iteraciones, presupuestos de entrenamiento y semillas aleatorias idénticos.

Auditoría de Agentes

Para asegurar que el sistema no degradara silenciosamente hacia respaldos basados en reglas (un riesgo conocido en sistemas agénticos), cada llamada al LLM (prompt, respuesta, estado de análisis) fue registrada y auditada. El sistema utiliza un modelo local gemma3:12b vía Ollama para garantizar la reproducibilidad sin depender de APIs de pago.

Resultados Clave

1. Descubrimiento de Híbridos Multifamiliares

La comunidad impulsada por LLM descubrió consistentemente arquitecturas híbridas multifamiliares.

• Tasa de Hibridación: En el 99.8% de las decisiones del planificador, el LLM eligió "HIBRIDAR" (injertar bloques de diferentes familias) en lugar de explorar o explotar puramente una sola familia.
• Adecuación al Régimen: Las arquitecturas descubiertas se adaptaron a la física del problema. Para problemas favorables al espectro (Advección, Burgers, Navier-Stokes), los bloques de Fourier lideraron las pilas. Para regresión por partes y flujo de Darcy, los bloques de tipo Wavelet o DeepONet fueron prominentes.
• Rendimiento:
  • Navier-Stokes (2D): El híbrido descubierto logró un error relativo $L_2$ de $0.0005 \pm 0.0000$, igualando al estado del arte de FNO ($0.0002$) pero con menos parámetros (1.1M frente a 1.2M para FNO).
  • Flujo de Darcy (2D): El híbrido logró un error de $0.0631 \pm 0.0083$, empatando estadísticamente con DeepONet ($0.0649$) y superando significativamente a FNO ($0.3070$).

2. El Teorema de "No hay Almuerzo Gratis" para Operadores Neuronales

Los resultados confirman que ningún arquitectura de operador domina todos los problemas.

• El híbrido de Navier-Stokes funcionó mal en el flujo de Darcy (error $\approx 0.71$), y el híbrido de Darcy funcionó mal en Navier-Stokes.
• Esto valida la hipótesis de que diferentes regímenes de PDE requieren distintos sesgos inductivos.

3. El Papel de la Agencia del LLM (Hallazgos de la Ablación)

Aunque la precisión de las comunidades de LLM y la basada en reglas fue estadísticamente indistinguible en la fidelidad de cribado, los resultados arquitectónicos difirieron significamente:

• Comunidad de LLM: Mantuvo la diversidad, produciendo consistentemente híbridos multifamiliares con pocos parámetros.
• Comunidad Basada en Reglas: Tendió a "colapsar" en pilas de una sola familia canónica (por ejemplo, Fourier puro para Navier-Stokes, Wavelet puro para Darcy).
• Eficiencia: En Navier-Stokes, los híbridos de LLM lograron una precisión comparable a las pilas de Fourier puro de la comunidad basada en reglas, pero con 2.5 veces menos parámetros (2.2M frente a 5.6M).
• Conclusión: La agencia del LLM es necesaria para preservar la diversidad arquitectónica y descubrir soluciones híbridas eficientes, mientras que los agentes basados en reglas convergen prematuramente hacia familias estándar.

4. Costo Computacional

El enfoque impulsado por LLM incurre en un sobrecosto de aproximadamente 2 a 4 veces en tiempo de ejecución (wall-clock time) comparado con la coordinación basada en reglas (ej. ~271 minutos frente a ~103 minutos para Navier-Stokes). Este costo se atribuye a las llamadas de planificación y revisión del LLM (dos llamadas por laboratorio por iteración). Sin embargo, el uso de "fidelidad de cribado" (entrenamiento en segundos en lugar de horas) hace que el enfoque de enjambre sea viable en una sola GPU.

Significancia y Reivindicaciones

El artículo reclama tres contribuciones principales:

1. Un Nuevo Marco: Una comunidad científica de IA agéntica que automatiza con éxito el descubrimiento de operadores neuronales mediante un enjambre de laboratorios virtuales con planificadores y revisores LLM.
2. Evidencia de la Necesidad del LLM: Un estudio de ablación que demuestra que la agencia del LLM es crítica para mantener la diversidad arquitectónica y descubrir modelos híbridos eficientes, evitando el colapso hacia soluciones de una sola familia observado en sistemas basados en reglas.
3. Validación Empírica de "No hay Almuerzo Gratis": Una simulación a gran escala que confirma que no existe un operador neuronal universal; la "mejor" arquitectura depende del problema, y las comunidades automatizadas pueden descubrir estos híbridos específicos para cada problema.

Los autores declaran explícitamente que el sistema no pretende superar a los baselines diseñados por humanos en precisión bruta (ya que los baselines de reglas y de LLM fueron comparables en el cribado), sino en descubrimiento arquitectónico y eficiencia de parámetros. El trabajo enfatiza que el LLM actúa como una política para la toma de decisiones, no como una herramienta ejecutora autónoma. Todo el código, configuraciones y transcripciones completas de LLM (9,623 llamadas) se publican para la reproducibilidad.