Prompt-to-prescription: towards generative design of diffraction-limited refractive optics

Dit paper introduceert een generatief framework dat Large Language Models koppelt aan een differentieerbare straaltraceermotor om complexe, diffractie-gelimiteerde optische systemen autonoom te ontwerpen op basis van semantische instructies, waardoor de barrière voor expertkennis in de optische engineering wordt doorbroken.

De kern

Van "Gewild" naar "Gemaakt": Hoe AI Lenzen Ontwerpt alsof het een Taal is

Stel je voor dat je een lens wilt ontwerpen, zoals die in je smartphone of in een dure microscoop. Vroeger was dit werk alleen weggelegd voor een zeer kleine groep super-experts. Het was als proberen een heel complex horloge te bouwen terwijl je blind was: je moest duizenden kleine onderdelen (glazen, afstanden, krommingen) met de hand schuiven en hopen dat het beeld scherp werd. Als je een foutje maakte, begon je helemaal opnieuw. Dit was traag, duur en beperkte innovatie.

Dit nieuwe onderzoek, getiteld "Prompt-to-prescription", introduceert een revolutionaire manier om dit te doen. Het is alsof je een AI-assistent hebt die twee superkrachten combineert: de creativiteit van een taal-expert en de precisie van een natuurkundige.

Hier is hoe het werkt, vertaald naar alledaagse taal:

1. De Twee Helden in het Team

Het systeem bestaat uit twee hoofdonderdelen die samenwerken:

• De "Taal-Vertaler" (De LLM): Dit is een geavanceerde kunstmatige intelligentie (zoals een super-slimme chatbot) die duizenden oude lenzenontwerpen kent. Zijn taak is het luisteren naar wat jij wilt zeggen (bijvoorbeeld: "Ik wil een lens voor het bekijken van kleine elektronica-onderdelen"). In plaats van direct te tekenen, vertaalt deze AI jouw woorden naar een ruw concept. Hij denkt: "Ah, dat klinkt als een 'Double-Gauss' lens, een klassiek ontwerp dat goed werkt voor close-ups." Hij pakt een bestaand, bewezen ontwerp uit zijn geheugen en past het een beetje aan.
• De "Fysica-Fijnkraker" (De Ray-tracer): Dit is een wiskundig programma dat lichtstralen simuleert. Het neemt het ruwe concept van de AI en begint te rekenen. Het schuift de glazen millimeter voor millimeter, verandert de kromming en kijkt of het licht precies op de sensor valt. Het doet dit niet door gissen, maar door wiskundige optimalisatie tot het beeld perfect scherp is.

2. Het Proces: Van Droom naar Werkelijke Lens

Stel je voor dat je een architect vraagt een huis te bouwen.

• Vroeger: Je moest zelf de blauwdrukken tekenen, de muren plaatsen en hopen dat het dak niet zou instorten.
• Nu met dit systeem:
  1. Jij geeft de opdracht: "Ik wil een huis met drie slaapkamers, een groot raam op het zuiden en een garage."
  2. De AI (Taal-Vertaler) schetst: Hij kijkt in zijn bibliotheek van miljoenen huizen, vindt een vergelijkbaar ontwerp en zegt: "Oké, ik begin met dit basisontwerp, maar ik zet het raam iets anders." Hij geeft je een ruwe schets.
  3. De AI (Fysica-Fijnkraker) bouwt: Hij neemt die schets en begint de muren te versterken, de dakgoot te berekenen en de fundering te optimaliseren zodat het huis echt kan staan en niet instort.

In het geval van lenzen betekent dit: Jij typt een zin, en het systeem levert een kant-en-klaar, perfect werkend ontwerp op dat direct in de fabriek kan worden gemaakt.

3. Wat hebben ze bewezen?

De onderzoekers hebben getoond dat dit systeem in drie verschillende situaties werkt:

• Industriële inspectie: Een gebruiker vroeg om een lens om kleine elektronische onderdelen te bekijken. De AI bedacht een lens die zo scherp is dat je zelfs de soldeerverbindingen op een printplaat perfect kunt zien.
• Infrarood (Onzichtbaar licht): Ze vroegen om lenzen voor warmtebeeldcamera's (LWIR) of nachtzicht (SWIR). De AI bedacht nieuwe ontwerpen met speciale materialen (zoals Germanium) die weergeven hoe warmte zich door de lucht beweegt.
• Mobiele telefoons: Dit is het moeilijkste stukje. Telefoonlenzen moeten extreem klein zijn, maar toch heel scherp. De AI begon met een ontwerp dat fysiek onmogelijk was (de glazen zaten in de weg van elkaar), maar het systeem "repareerde" dit stap voor stap totdat het een werkende, ultra-kleine lens was.

4. Waarom is dit belangrijk?

Vroeger was lensontwerpen als het proberen te gissen in het donker. Nu hebben we een fakkel.

• Democratisering: Je bent geen expert meer nodig om een goed lensontwerp te krijgen. Iedereen met een idee kan nu een professioneel ontwerp genereren.
• Snelheid: Wat maanden kon duren, gebeurt nu in minuten.
• Innovatie: Omdat het systeem niet vastzit aan oude regels, kan het nieuwe, creatieve ontwerpen bedenken die een mens misschien nooit had bedacht.

Conclusie

Kortom: Dit onderzoek laat zien dat we kunstmatige intelligentie niet alleen kunnen gebruiken om tekst te schrijven of plaatjes te maken, maar ook om fysieke objecten te ontwerpen. Het koppelt wat we zeggen (onze intentie) direct aan wat we maken (de fysieke lens). Het is alsof we de brug hebben gevonden tussen onze fantasie en de harde realiteit van de natuurkunde.

Technische samenvatting

Titel: Prompt-to-prescription: Towards generative design of diffraction-limited refractive optics

Auteurs: Roy Maman, David Ohana, Jacob Engelberg en Uriel Levy (Hebrew University of Jerusalem & Jerusalem College of Technology).

---

1. Het Probleem

Het ontwerpen van hoogwaardige optische systemen is traditioneel een gespecialiseerd domein dat afhankelijk is van de beperkte beschikbaarheid van ervaren ingenieurs. Dit creëert een bottleneck die innovatie vertraagt, ondanks de groeiende vraag naar beeldvormende hardware.

• Huidige uitdagingen: Het ontwerpproces is iteratief, vertrouwt sterk op menselijke intuïtie en vereist handmatige specificatie binnen gesloten commerciële software.
• Beperkingen van bestaande AI: Hoewel diep leren de parameteroptimalisatie heeft verbeterd, heeft het de fundamentele uitdaging nog niet aangepakt om conceptuele, geldige optische architecturen te bedenken op basis van functionele eisen. Bestaande methoden werken vaak op het niveau van geïsoleerde elementen of zijn te sterk gekoppeld aan specifieke optimalisatiepijplijnen, waardoor ze geen volledig systeem kunnen synthetiseren vanuit een natuurlijke taalbeschrijving.

2. Methodologie

De auteurs presenteren een end-to-end generatief raamwerk dat semantische redenering koppelt aan differentieerbare fysica. Het systeem vertaalt natuurlijke taal-prompten direct naar een volledig, optimaliseerbaar optisch voorschrift (prescription).

De architectuur bestaat uit twee hoofdkomponenten:

1. Semantische Controller (LLM):

   • In plaats van het model te fine-tunen (wat kan leiden tot 'catastrophic forgetting' of het hallucineren van niet-fysische ontwerpen), gebruiken de auteurs een Reasoning-First Retrieval-Augmented Generation (RAG) aanpak met Claude Sonnet 4.5.
   • De LLM fungeert als een intelligente controller die een gecureerde bibliotheek van ~1.700 gevalideerde optische ontwerpen (afkomstig van patenten en historische publicaties) doorzoekt.
   • Werkingsprincipe: De LLM extrahereert kritieke parameters uit de prompt (effectieve brandpuntsafstand, F-getal, sensorformaat, vergroting) en zoekt naar de drie meest vergelijkbare bestaande ontwerpen. Op basis hiervan voert het analogisch redeneren uit om een nieuw, fysiek onderbouwd startpunt ("intuïtief ontwerp") te synthetiseren. Dit lost het "koude start"-probleem op.

2. Differentieerbare Fysica Engine (DiffOptics):

   • De gegenereerde startpunten worden overgedragen naar DiffOptics, een open-source differentieerbare straalvervolgengine.
   • Hier vindt de fysiek gebaseerde optimalisatie plaats via gradient descent.
   • Verliesfunctie: De engine minimaliseert een gewogen som van drie termen:
     • $L_{RMS}$: Minimaliseert de RMS-spotgrootte (scherpte).
     • $L_{phys}$: Straft niet-fysische geometrieën af (bijv. negatieve diktes, overlappende lenzen).
     • $L_{spec}$: Zorgt dat de output voldoet aan de specifieke eisen uit de prompt (brandpuntsafstand, FOV, etc.).
   • Het algoritme gebruikt de Levenberg-Marquardt (LM) methode voor convergentie.

3. Belangrijkste Bijdragen

• Eerste End-to-End Pijplijn: Dit is het eerste systeem dat een natuurlijke taalbeschrijving direct omzet in een geoptimaliseerd, diffraction-limited optisch ontwerp dat compatibel is met industriestandaardsoftware (Zemax).
• Hybride Benadering: De combinatie van generatieve AI (voor creatieve architecturale keuze) met deterministische engineering-databases (voor fysieke geldigheid) en differentieerbare optimalisatie (voor precisie).
• Democratisering: Het verlaagt de instapdrempel voor niet-specialisten en automatiseert de meest intuïtieve fase van het ontwerpen: het kiezen van de topologie.

4. Resultaten

Het raamwerk werd getest in drie verschillende regimes en bleek succesvol in het synthetiseren van complexe systemen:

• Interpolatie van Standaard Archetypen:

  • Bij een prompt voor een "50mm fotografische lens bij f/2" herkende het systeem correct de Double-Gauss topologie, haalde een referentieontwerp op en optimaliseerde dit tot een aanzienlijk lagere RMS-spotgrootte dan het originele patent.

• Extrapolatie en Nieuwe Randvoorwaarden:

  • Bij een unieke vraag ("10mm lens met een 14mm dikke glazen prisma") die een retrofocus-architectuur vereiste (wat niet in de database stond), inferreerde de LLM correct de noodzaak van een negatieve voorgroep en positieve achtergroep om de prisma op te vangen. Het systeem synthetiseerde een werkbaar ontwerp ondanks de afwezigheid van directe voorbeelden.

• Industriële Toepassingen:

  • Macro-inspectie: Een lens voor elektronische componenten (0.1mm x 0.2mm) werd ontworpen met een vergroting van 0.57x en een werkend F-getal van 5.88, voldoende voor automatische defectdetectie.
  • Telecentrische Metrologie: Een dubbel-telecentrische lens voor mechanische metingen werd gegenereerd. Het ontwerp bereikte bijna diffraction-limited prestaties (RMS spot 3.29µm) en garandeerde dat de vergroting niet veranderde bij diepteveranderingen van het object.

• Infrarood (IR) Systemen:

  • Het systeem slaagde in het ontwerpen van objectieven voor NIR (700-900nm), SWIR (InGaAs sensoren) en LWIR (thermische imaging met Germanium substraten).
  • Voor LWIR werd correct geïnfereerd dat Germanium (Ge) ideaal is vanwege zijn hoge brekingsindex en lage dispersie in dat spectrum, wat leidde tot een volledig diffraction-limited ontwerp.
  • Beperking: Polychromatische prestaties in NIR/SWIR waren beperkt door vereenvoudigde materiaalmodellen in de optimizer (geen volledige Sellmeier-dispersie), maar de monochromatische topologie was uitstekend.

• Complexe Asferische Mobiele Lenzen:

  • Voor een "flagship mobile lens" (1 glas, 6 plastic, F/1.7, TTL 7.5mm) werd een tweefasige optimalisatiestrategie gebruikt:
    1. Geometrische Stabilisatie: Eerst optimaliseren op sferische termen om fysieke overlappen op te lossen.
    2. Asferische Verfijning: Vervolgens stapsgewijs vrijgeven van asferische coëfficiënten (conic -> 4th order -> 8th order).
  • Dit resulteerde in een werkbaar ontwerp met een RMS-spot van 3.52µm, hoewel chromatische aberratie nog een uitdaging bleef door de materiaalselectie.

5. Betekenis en Toekomstperspectief

• Nieuw Paradigma: Dit werk vestigt een nieuw paradigma waarbij semantische intentie (tekst) fungeert als een "first-class interface" voor fysiek onderbouwd optisch ontwerp.
• Validatie: Alle resultaten zijn gevalideerd met Ansys Zemax OpticStudio, wat aantoont dat de gegenereerde ontwerpen fysiek realiseerbaar zijn en niet slechts artefacten van de AI zijn.
• Beperkingen en Toekomst:
  • Huidige beperkingen omvatten de schaal van de dataset (beperkt tot ~1700 ontwerpen) en vereenvoudigde materiaalmodellen voor dispersie.
  • Toekomstige uitbreidingen omvatten het ondersteunen van reflectieve elementen (spiegels), gebogen paden, en het integreren van diffractieve optische elementen (DOE) en metasurfaces.
• Conclusie: De fusie van semantische redenering en differentieerbare fysica biedt een robuust pad naar autonome optische engineering, waarbij AI niet alleen als catalogus fungeert, maar als een actief deelnemer in de engineeringcyclus.