Chat to Chip: Large Language Model Based Design of Arbitrarily Shaped Metasurfaces

Resumen Técnico: Chat to Chip: Diseño de Metasuperficies de Forma Arbitraria Basado en Modelos de Lenguaje de Gran Escala

Planteamiento del Problema
El diseño tradicional de metasuperficies está limitado por el costo computacional de las simulaciones electromagnéticas de onda completa (por ejemplo, FDTD, FEM), lo que restringe la exploración de configuraciones complejas y de forma arbitraria. Si bien los modelos de redes neuronales profundas (DNN) impulsados por datos han surgido como una alternativa más rápida, requieren un flujo de trabajo laborioso y específico para cada nueva función óptica. Este proceso implica la construcción de topologías de red personalizadas, búsquedas exhaustivas de hiperparámetros e ingeniería iterativa, lo que sigue siendo una barrera para los investigadores sin amplia experiencia en aprendizaje automático. Además, los enfoques existentes suelen tener dificultades con el diseño inverso de celdas unitarias 2D de alto grado de libertad y forma aleatoria debido a la naturaleza "muchos a uno" del problema, donde geometrías distintas producen espectros idénticos, causando la cancelación de gradientes y la falta de convergencia en redes deterministas.

Metodología
Los autores proponen un flujo de trabajo "chat-to-chip" que aprovecha los Modelos de Lenguaje de Gran Escala (LLM) preentrenados para evitar la necesidad de la ingeniería de DNN personalizada. La metodología central consiste en:

1. Generación de Datos y Parametrización:

   • Los meta-átomos de forma arbitraria se generan utilizando una cuadrícula de puntos de control de 4×4. Esta cuadrícula se replica mediante simetría rotacional de cuatro pliegues, se interpola en un campo escalar de 256×256 y se binariza (umbral $t=0.5$).
   • Se aplican operaciones morfológicas (apertura y cierre iterativos) para asegurar la compatibilidad con la fabricación, eliminando islas aisladas y rellenando huecos.
   • Los patrones de silicio resultantes (índice de refracción 3.5) sobre un sustrato de vidrio (índice de refracción 1.5) se simulan utilizando Lumerical FDTD bajo incidencia normal con polarización circular izquierda (LCP).
   • Se creó un conjunto de datos de 45,790 diseños, registrando los espectros de transmisión en 31 longitudes de onda uniformemente espaciadas (1050 nm a 1600 nm).

2. Formulación del LLM:

   • Los datos geométricos (cuadrícula 4×4) y la respuesta óptica (vector de transmisión de 31 puntos) se convierten en prompts y completados de lenguaje natural.
   • Diseño Directo (Forward Design): El prompt solicita el espectro de transmisión dado un grid; el completado proporciona los 31 valores numéricos.
   • Diseño Inverso (Inverse Design): El prompt proporciona un espectro objetivo y solicita "una cuadrícula posible", aprovechando explícitamente la estocasticidad del LLM para manejar el mapeo muchos a uno.
   • Los valores numéricos se redondean a tres decimales y se tokenizan utilizando un codificador de pares de bytes consistente con el modelo base.

3. Entrenamiento del Modelo y Arquitectura:

   • El estudio utiliza el modelo Meta-Llama-3.1-8B-Instruct, cuantizado a pesos de 4 bits.
   • El ajuste fino eficiente en parámetros se logra mediante la Adaptación de Bajo Rango (LoRA) con rango $r=32$ y factor de escala $\alpha=32$.
   • El entrenamiento se lleva a cabo en GPUs de consumo (NVIDIA RTX 2080 Ti) durante 8 épocas utilizando el optimizador AdamW. No se requieren modificaciones arquitectónicas en el backbone del LLM.

Resultos Clave

• Precisión de Predicción Directa: El modelo Llama-3.1-8B ajustado alcanza un Error Cuadrático Medio (MSE) de $3.4 \times 10^{-3}$ en el conjunto de prueba, igualando la precisión de las DNN especializadas reportadas en la literatura. El modelo predice espectros en aproximadamente 2 segundos, unas 60 veces más rápido que las simulaciones de onda completa en el clúster de CPU de los autores. La precisión es mayormente insensible al número de épocas de ajuste fino más allá de 5.
• Evaluación Comparativa del Modelo (Benchmarking): Los autores evaluaron 11 LLM de pesos abiertos en tres tamaños de parámetros (<7B, 7–9B, >9B).
  • La precisión generalmente mejora con el tamaño del modelo, pero no es estrictamente monotónica; por ejemplo, Mistral 7B superó a la variante Llama de 8B.
  • Los modelos Gemma demostraron una relación precisión-costo superior, probablemente debido a sus tokenizadores amigables con los dígitos.
  • El escalado de 7B a 72B (Qwen-2.5) produjo rendimientos decrecientes (solo una reducción de MSE de $1.2 \times 10^{-3}$) mientras aumentaba significativamente el tiempo de inferencia y los requisitos de memoria.
  • Los modelos centrados en el razonamiento (por ejemplo, Qwen-3B, Phi-4-Reasoning) se consideraron inadecuados para esta tarea, ya que tendían a producir texto de diagnóstico verboso en lugar de las secuencias numéricas requeridas.
• Desempeño del Diseño Inverso: El LLM generó con éxito geometrías diversas para los espectros objetivo. Al solicitar "una cuadrícula posible", el modelo evitó los problemas de convergencia típicos de las redes inversas deterministas. Los meta-átomos diseñados inversamente mostraron una alta fidelidad a los espectros objetivo (MSE tan bajo como $1.2 \times 10^{-6}$) y exhibieron una diversidad geométrica significativa. Más del 88% de las muestras de prueba de diseño inverso lograron un MSE inferior a $1.0 \times 10^{-2}$.

Significancia y Reivindicaciones
El artículo afirma demostrar que los LLM de 1-D basados en tokens pueden servir como una herramienta práctica, "sin código" (no-code), tanto para el diseño directo como inverso de metasuperficies 2D de forma arbitraria sin requerir modelos de visión o ingeniería de redes complejas.

• Reducción de Barreras: El flujo de trabajo elimina la necesidad de un diseño de red a medida y de búsquedas exhaustivas de hiperparámetros, haciendo que el diseño nanofotónico basado en datos sea accesible para investigadores con conocimientos limitados en aprendizaje automático.
• Eficiencia: El enfoque proporciona retroalimentación casi en tiempo real (segundos) en comparación con los flujos de trabajo tradicionales que requieren intensamente simulaciones (días o semanas).
• Escalabilidad: El estudio establece que los LLM estándar, con un ajuste fino ligero, pueden lograr resultados de alta fidelidad, lo que sugiere que las ganancias futuras pueden provenir de modelos con priors numéricos más fuertes o Modelos de Lenguaje y Visión (VLM) en lugar de simplemente escalar el conteo de parámetros.
• Cambio de Paradigma: El trabajo representa un paso hacia un paradigma de "chat-to-chip", vinculando la interacción de lenguaje natural directamente con el modelado electromagnético y permitiendo la exploración rápida de metasuperficies complejas y multifuncionales.