ESOFinder: an LLM-powered tool to help users navigate ESO documentation
Het artikel introduceert ESOFinder, een privacy-gerichte, interne chatbot aangedreven door Large Language Models en Retrieval Augmented Generation (RAG) die meer dan 3500 links en 100 handleidingen synthetiseert om ESO-gebruikers betrouwbare, contextbewuste antwoorden te bieden voor het navigeren door het complexe documentatie-ecosysteem van het observatorium.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van het onderstaande artikel. Het is niet geschreven of goedgekeurd door de auteurs. Raadpleeg het oorspronkelijke artikel voor technische nauwkeurigheid. Lees de volledige disclaimer
Stel je de Europese Zuidelijke Observatoria (ESO) voor als een enorme, eeuwenoude bibliotheek. Dit is niet zomaar een bibliotheek; het is gevuld met meer dan 6,2 miljoen woorden aan instructies, handleidingen en gidsen — ongeveer acht keer de lengte van de King James Bijbel. Deze boeken gaan over alles, van hoe je een voorstel schrijft om een ster te zien, tot hoe je de data opruimt nadat de telescoop een foto heeft gemaakt.
Het probleem? Een specifieke vraag vinden in deze bibliotheek is alsof je een specifieke zin probeert te vinden in een stapel van 3.500 verschillende boeken terwijl je geblinddoekt bent. Astronomen en personeel besteden te veel tijd aan zoeken in plaats van aan wetenschap doen.
Om dit op te lossen, heeft het ESO-team ESOFinder gebouwd, een slimme digitale bibliothecaris aangedreven door Kunstmatige Intelligentie (AI). Hier is hoe het werkt, eenvoudig uitgelegd:
1. Het Brein en het Geheugen (LLM + RAG)
Denk aan een standaard AI-chatbot (zoals de chatbots die je misschien gebruikt voor algemene vragen) als een geniale student die jaren geleden veel boeken heeft gelezen, maar sindsdien niet meer naar school is geweest. Ze kunnen het antwoord raden, maar ze verzinnen vaak dingen (hallucineren) of geven verouderd advies omdat ze niet op de hoogte zijn van nieuwe regels.
ESOFinder is anders. Het gebruikt een techniek genaamd RAG (Retrieval-Augmented Generation).
- Het Geheugen: Voordat het iets beantwoordt, leest en onthoudt ESOFinder de volledige huidige bibliotheek van ESO-documenten. Het breekt deze enorme PDF's en websites op in kleine, hanteerbare "stukjes" en organiseert ze als een supergeorganiseerd systeem van indexkaarten.
- Het Brein: Wanneer je een vraag stelt, raadt ESOFinder niet alleen maar wat. Het zoekt eerst op de relevante "indexkaarten" in zijn geheugen. Vervolgens overhandigt het die specifieke pagina's aan zijn AI-brein en zegt: "Lees deze pagina's en beantwoord de vraag uitsluitend op basis van wat je hier ziet."
2. Het Detectiewerk (Hybride Zoekopdracht)
Wanneer je een vraag stelt, werkt ESOFinder als een detective die tegelijkert of twee verschillende instrumenten gebruikt:
- De "Betekenis"-detective: Dit instrument begrijpt het idee achter je vraag. Als je vraat naar "hoe je de telescoop richt", weet het dat je "telescoop richten" bedoelt, zelfs als je die exacte woorden niet hebt gebruikt.
- De "Trefwoord"-detective: Dit instrument zoekt naar exacte overeenkomsten. Als je vraat naar een specifiek instrument genaamd "VISIR" of een technische code, vindt dit instrument de exacte term, zodat het geen specifieke jargon mist dat de "Betekenis"-detective over het hoofd zou kunnen zien.
Het combineert de resultaten van beide detectives, rangschikt ze om de beste te vinden, en gooit de irrelevante ruis weg.
3. De Zelfcorrigerende Lus (De "Dubbelcheck")
Een van de grootste risico's bij AI is dat het vol vertrouwen iets fout kan zeggen. ESOFinder heeft een ingebouwde "veiligheidsnet".
- Nadat de AI een antwoord heeft gegenereerd, controleert een tweede AI "beoordelaar" of het klopt.
- Check 1: "Heb je het antwoord daadwerkelijk gevonden in de documenten die we je hebben gegeven?"
- Check 2: "Lost dit antwoord daadwerkelijk het probleem van de gebruiker op?"
- Als het antwoord bij een van beide checks faalt, geeft het systeem niet zomaar op. Het herschrijft de vraag, zoekt opnieuw en probeert een beter antwoord te genereren. Het blijft dit doen totdat het het goed heeft of toegeeft: "Ik kan het antwoord niet vinden in onze boeken."
4. Privacy en Controle
Omdat dit hulpmiddel is gebouwd op open-source AI-modellen die draaien op de eigen lokale servers van de ESO (en niet op een publieke cloud), blijft alle data privé. Astronomen kunnen vragen stellen over gevoelige of vertrouwelijke projectdetails zonder zich zorgen te maken dat de AI deze informatie met de buitenwereld deelt.
Hoe ging het?
Het team heeft dit hulpmiddel getest met echte astronomen en personeel in drie rondes:
- Ronde 1: Het hulpmiddel was een beetje in de war en gaf te veel lange, woordenrijke antwoorden. Het kreeg een 3,0 uit 5 sterren.
- Ronde 2: Ze verbeterden de zoekopdracht en het "brein". Het werd iets beter (3,1 sterren), maar had nog steeds moeite met complexe vragen.
- Ronde 3 (Huidige versie): Na het verbeteren van de zoekstrategie en het toevoegen van meer documenten, is het hulpmiddel veel scherper. In recente tests steeg de gemiddelde score naar 3,84 uit 5 sterren, met een mediaan (midden) score van 5 sterren. De meeste gebruikers zeggen nu dat de antwoorden "Perfect" of "Nauwkeurig" zijn.
Wat is het volgende?
Het team geeft toe dat het hulpmiddel nog niet perfect is. Het heeft soms moeite met documenten die grote tabellen of afbeeldingen bevatten in plaats van tekst. Ze zijn ook van plan om meer specifieke data toe te voegen (zoals data van de ALMA-telescoop) en het hulpmiddel te gebruiken om fouten in de bibliotheek zelf op te sporen.
Uiteindelijk is het doel van ESOFinder om de "front desk" te zijn voor iedereen die probeert te navigeren door de complexe wereld van telescoopoperaties, waarbij een verwarrend doolhof van documenten wordt omgezet in een eenvoudig gesprek.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.