Classical baselines outperform released deep-learning ITS classifiers, which collapse on ITS2 where predictions follow the flanking regions
Este estudio demuestra que, si bien los clasificadores de aprendizaje profundo para secuencias de ITS fúngicas alcanzan una alta precisión en referencias de longitud completa, fallan drásticamente en la subregión ITS2 comúnmente utilizada al depender de las regiones flanqueantes en lugar del código de barras en sí, lo que provoca que los métodos de referencia clásicos superen significativamente a estos en escenarios realistas de metabarcoding ambiental.
Artículo original bajo licencia CC BY 4.0 (https://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA de un preprint que no ha sido revisado por pares. No es consejo médico. No tome decisiones de salud basándose en este contenido. Leer descargo de responsabilidad completo
En el mundo microscópico de los hongos, los científicos confían en un tramo específico de código genético para identificar especies, de la misma manera que un bibliotecario utiliza un código de barras para clasificar libros. Este código, conocido como el espaciador transcrito interno o ITS, se encuentra entre otros genes en el ADN fúngico y varía lo suficiente entre especies como para servir como un identificador único. Durante décadas, los investigadores han utilizado esta región para catalogar la vida fúngica invisible que nos rodea, desde los hongos en un bosque hasta los mohos que crecen en un hogar. Sin embargo, la tecnología moderna ha hecho posible secuenciar solo un fragmento pequeño y conveniente de este código —específicamente una sección llamada ITS2— en lugar del registro genético completo. Este atajo es más rápido y económico, permitiendo a los científicos procesar miles de muestras a la vez, pero plantea una pregunta crítica: ¿pueden los programas informáticos más avanzados, entrenados con el registro genético completo, seguir reconociendo al hongo cuando solo ven este diminuto fragmento?
Recientemente, un equipo de investigadores se propuso poner a prueba los límites de la inteligencia artificial en este campo. Examinaron dos potentes clasificadores de aprendizaje profundo, sofisticados modelos informáticos que habían sido entrenados con millones de secuencias fúngicas para predecir nombres de especies con alta precisión. Estos modelos eran celebrados por su capacidad para identificar hongos con más del 90 por ciento de precisión, pero fueron entrenados con los registros genéticos completos y de longitud total. Los investigadores querían saber si estos mismos modelos funcionarían cuando se les alimentara con las secuencias cortas y parciales que producen los muestreos ambientales. Para averiguarlo, crearon una prueba justa utilizando miles de secuencias fúngicas, comparando el rendimiento de la inteligencia artificial frente a los métodos más antiguos y tradicionales que dependen de la comparación directa en lugar del aprendizaje complejo.
Los resultados revelaron un fallo severo en la inteligencia artificial. Cuando los investigadores alimentaron a los modelos con los registros genéticos de longitud completa, los clasificadores de aprendizaje profundo funcionaron de manera aceptable, aunque seguían siendo ligeramente menos precisos que los métodos tradicionales. Sin embargo, en el momento en que la entrada se restringió solo al fragmento corto de ITS2, el rendimiento de la inteligencia artificial colapsó. En este fragmento corto, los modelos de aprendizaje profundo cayeron a una precisión de aproximadamente el 18 al 28 por ciento, un fallo catastrófico comparado con los métodos tradicionales, que se mantuvieron robustos y precisos con casi un 90 por ciento. Los modelos de inteligencia artificial, que habían sido promocionados como el futuro de la identificación fúngica, esencialmente dejaron de funcionar cuando se enfrentaron a los datos que más probablemente encontrarían en el mundo real.
Los investigadores investigaron entonces por qué ocurrió esto, sospechando que los modelos no estaban leyendo realmente el código de barras que debían identificar. Realizaron un experimento ingenioso en el que tomaron el fragmento corto de ITS2 de un hongo y lo rodearon con las regiones genéticas flanqueantes de un tipo de hongo completamente diferente. Si los modelos estuvieran leyendo realmente el código de barras del ITS2, deberían haber identificado el hongo original. En cambio, los modelos identificaron abrumadoramente al hongo donante, aquel cuya materia genética circundante había sido adherida. En un caso, el modelo identificó correctamente la familia del donante en casi el 64 por ciento de las consultas, mientras que identificó al hongo real en menos del 1 por ciento de los casos. Esto demostró que los modelos no estaban mirando el propio código de barras, sino que dependían del contexto genético circundante, el cual estaba ausente por completo en las muestras ambientales cortas.
Este descubrimiento explica por qué los modelos fallaron tan drásticamente. La inteligencia artificial había aprendido a reconocer los hongos observando el registro genético completo, incluyendo las regiones antes y después del código de barras. Al presentárseles el fragmento corto solo, los modelos estaban efectivamente ciegos, incapaces de encontrar las características que habían sido entrenados para reconocer. Peor aún, los modelos no admitieron su confusión. Sus puntuaciones de confianza perdieron la capacidad de distinguir entre hongos familiares y otros nuevos, lo que significa que el resultado no proporcionaba ninguna advertencia de que la predicción fuera probablemente errónea. En el caso de un modelo, este se mantuvo excesivamente confiado, otorgando a los investigadores una falsa sensación de seguridad a pesar de estar mayoritariamente equivocado. El estudio concluye que la alta precisión reportada de estas herramientas de aprendizaje profundo es una ilusión creada al probarlas con datos que no coinciden con las condiciones del mundo real de los muestreos ambientales. Para que las herramientas sean útiles, deben ser reentrenadas o rediseñadas para comprender que los fragmentos cortos que reciben son fundamentalmente diferentes de los registros completos sobre los que fueron construidas, o bien los científicos deben confiar en los métodos más simples y fiables que han resistido la prueba del tiempo.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.