Testing the reliability of AI-generated protein structures
Deze studie toont aan dat AlphaFold2 en ColabFold een zeer laag fout-positief percentage vertonen bij het voorspellen van structuren voor niet-proteïne sequenties, terwijl ze toevallig onthullen dat sommige hoog scorende voorspellingen in niet-coderende menselijke genomische regio's overeenkomen met voorheen niet-geannoteerde pseudogenen, wat suggereert dat er fouten kunnen zitten in bestaande gen-annotaties en de bruikbaarheid van hoog scorende structurele voorspellingen voor verder onderzoek valideert.
Oorspronkelijk artikel gelicentieerd onder CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Dit is een AI-gegenereerde uitleg van een preprint die niet peer-reviewed is. Dit is geen medisch advies. Neem geen gezondheidsbeslissingen op basis van deze inhoud. Lees de volledige disclaimer
Stel je voor dat je een superintelligente robotarchitect hebt genaamd AlphaFold. Zijn taak is om naar een lijst met instructies (een eiwitsequentie) te kijken en een 3D-model van een machine (een eiwitstructuur) te bouwen. Jarenlang heeft deze robot zijn werk fantastisch gedaan door perfecte modellen te bouwen voor echte biologische machines.
De "Nep-blauwdruk" Test
Om de betrouwbaarheid van de robot te testen, hebben de onderzoekers een reeks nep-blauwdrukken gemaakt. Dit waren willekeurige reeksen letters die eruit zagen alsof ze instructies voor een machine zouden kunnen zijn, maar in werkelijkheid waren ze gewoon onzin — afvaldata die de natuur nooit bedoeld heeft om te bouwen.
Ze voerden deze nep-blauwdrukken aan de robot en vroegen: "Hoe vaak zal deze robot vol vertrouwen een perfect uitziende machine bouwen van pure onzin?"
De Resultaten: Een Zeldzame Glitch
De robot deed zijn werk uitstekend. Hij realiseerde bijna altijd: "Hé, dit is onzin," en weigerde een zelfverzekerd model te bouwen. Het was echter niet perfect.
De studie toonde aan dat de robot een fout maakt ongeveer één op de 435 keer dat hij iets probeert te bouwen uit onzin. In die zeldzame gevallen zegt hij vol vertrouwen: "Ik heb een geweldige machine gebouwd!", ook al waren de instructies nep. Dit wordt een "vals positieve" genoemd.
Het Gelukkige Toeval: Verborgen Schatten Vinden
Hier werd het interessant. Tijdens het testen van de robot ontdekten de onderzoekers per ongeluk iets onverwachts in het menselijk genoom (onze lichaaminstructiehandleiding).
Ze vonden bepaalde secties in de handleiding die wetenschappers voorheen als "dode zones" of "afval" beschouwden (specifiek delen van genen die geen eiwitten coderen). Maar toen ze deze secties aan de robot voerden, bouwde hij hoogwaardige structuren!
Het bleek dat dit geen fouten waren. Dit waren verborgen, vergeten instructies (pseudogenen) die wetenschappers over het hoofd hadden gezien. De robot had er eigenlijk gelijk in om daar een structuur te bouwen.
Wat Dit Betekent
Deze ontdekking leerde de onderzoekers twee belangrijke dingen:
- De Robot is Betrouwbaar: De "glitch"-ratio is zo laag (1 op 435) dat als de robot zegt dat hij een geweldige structuur heeft gebouwd, je er zeer van verzekerd kunt zijn dat deze echt is.
- Negeer het "Afval" Niet: Omdat de robot zo goed is, is het zelfs als hij een structuur vindt in een deel van de handleiding dat wij nutteloos achtten, de moeite waard om nog eens naar te kijken. Het kan een verborgen instructie zijn die we gemist hebben, of het kan een zeldzame glitch zijn, maar het is zeker de moeite waard om te onderzoeken.
Kortom: de robot is een fantastische bouwer die zelden wordt gefopt door nepplannen, en soms helpt hij ons zelfs om verborgen schatten in onze eigen instructiehandleidingen te vinden waarvan we niet eens wisten dat ze bestonden.
Verdrinkt u in papers in uw vakgebied?
Ontvang dagelijkse digests van de nieuwste papers die bij uw onderzoekswoorden passen — met technische samenvattingen, in uw taal.