User-driven development and evaluation of an agentic framework for analysis of large pathway diagrams

Dit artikel beschrijft de gebruikersgestuurde ontwikkeling en evaluatie van Llemy, een LLM-gebaseerd agentic framework dat domeinexperts helpt bij het navigeren en samenvatten van complexe moleculaire interactiekaarten.

Oorspronkelijke auteurs: Corradi, M., Djidrovski, I., Ladeira, L., Staumont, B., Verhoeven, A., Sanz Serrano, J., Rougny, A., Vaez, A., Hemedan, A., Mazein, A., Niarakis, A., de Carvalho e Silva, A., Auffray, C., Wilighagen
Gepubliceerd 2026-03-12
📖 4 min leestijd☕ Koffiepauze-leesvoer
⚕️

Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer

Each language version is independently generated for its own context, not a direct translation.

De "Slimme Gids" voor de Biologische Kaarten: Een Simpele Uitleg van het Llemy-project

Stel je voor dat je een enorme bibliotheek binnenloopt, maar in plaats van boeken, zitten de planken vol met gigantische, ingewikkelde biologische landkaarten. Deze kaarten tonen precies hoe cellen werken, hoe ziektes ontstaan en hoe medicijnen in je lichaam reageren. Voor een expert is dit een schatkist aan informatie, maar voor een leek (of zelfs een beginnende wetenschapper) is het net als proberen een stad te vinden zonder een GPS, terwijl de straten continu veranderen en de borden in een vreemde taal staan.

Dit is het probleem dat de auteurs van dit artikel wilden oplossen. Ze hebben een slimme digitale assistent bedacht, genaamd Llemy.

Wat is Llemy eigenlijk?

Llemy is als een slimme, praatende gids die je door die ingewikkelde biologische kaarten leidt. In plaats van zelf te zoeken naar de juiste lijntjes en symbolen, kun je tegen Llemy praten (via tekst) en vragen stellen als: "Hoe werkt leververvetting?" of "Welke stoffen spelen een rol bij deze ziekte?"

Llemy kijkt dan direct in de kaarten, haalt de juiste informatie op, en geeft je een samenvatting in begrijpelijke taal. Het is alsof je een expert naast je hebt die de kaarten kan lezen en direct het antwoord voor je uitlegt.

Hoe hebben ze dit bedacht? (De Hackathon)

De wetenschappers wilden geen systeem bouwen dat ze zelf bedachten in een kantoortoren. Ze wilden weten wat de gebruikers écht nodig hebben.

  • De Analogie: Stel je voor dat je een nieuwe auto wilt bouwen. In plaats van dat ingenieurs alleen in de garage zitten te tekenen, nodigen ze een groep chauffeurs uit voor een hackathon (een soort 24-uurs creatieve sprint).
  • Het Proces: Experts uit de biologie, curators (mensen die de kaarten maken) en programmeurs kwamen samen. Ze probeerden direct vragen te stellen aan een ruwe versie van Llemy. Wat werkte? Wat was verwarrend? Welke vragen stelden ze?
  • Het Resultaat: Op basis van deze directe feedback bouwden ze het systeem verder uit. Het was een "gebruikersgedreven" proces: de mensen die de kaart moesten lezen, bepaalden hoe de gids eruit zou zien.

Wat deed Llemy tijdens de test?

Vervolgens gaven ze Llemy aan 25 mensen om te testen. Deze mensen moesten vragen stellen aan de kaarten en vervolgens een rapport invullen: "Was het antwoord juist? Was het kort en krachtig? Kun je het vertrouwen?"

Hieruit kwamen een paar belangrijke dingen naar voren:

  1. Samenvatten werkt goed: Als je vraagt om een samenvatting van een proces, gaf Llemy vaak goede antwoorden.
  2. Zoeken is lastig: Als je specifiek op zoek was naar één klein detail in een enorme kaart, ging het soms mis. De gids verloor dan de weg.
  3. Snelheid telt: Als het systeem te lang deed over het antwoord, vonden de mensen het antwoord minder goed, zelfs als de inhoud juist was.
  4. Verwarring over namen: Soms gebruikte Llemy de verkeerde naam voor een stof (bijvoorbeeld een officiële code in plaats van de gangbare naam), waardoor hij dacht dat het iets anders was.

De Grote Uitdaging: De "Hallucinaties"

Een groot probleem met slimme computers (zoals de AI die Llemy gebruikt) is dat ze soms dingen verzinnen die er niet zijn. In de biologie is dit gevaarlijk.

  • De Analogie: Stel je voor dat je een gids vraagt om de weg naar het station te wijzen. Soms wijst hij naar het station, maar soms wijst hij naar een gebouw dat er niet is, of verandert hij halverwege de route.
  • In Llemy: Soms gaf het systeem links naar onderdelen van de kaart die niet bestonden, of verzon het een reactie. De gebruikers vonden dit vervelend en onbetrouwbaar.

Wat is de toekomst?

De auteurs concluderen dat Llemy een veelbelovend begin is, maar dat er nog werk aan de winkel is.

  • Betrouwbare Gids: Ze willen de gids slimmer maken zodat hij nooit verzint wat er niet is.
  • Sneller: De antwoorden moeten sneller komen.
  • Open Source: Ze willen dat de "hersenen" van Llemy openbaar zijn, zodat iedereen ze kan controleren en verbeteren, in plaats van dat het een geheim bedrijfseigen systeem is.

Conclusie in één zin

Dit artikel vertelt het verhaal van hoe wetenschappers samen met gebruikers een digitale gids hebben gebouwd die helpt om de ingewikkelde landkaarten van het menselijk lichaam te begrijpen, met de les dat je zo'n gids altijd moet testen met echte mensen om te voorkomen dat hij de weg kwijtraakt.

Verdrinkt u in papers in uw vakgebied?

Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.

Probeer Digest →