An interpretable framework using foundation models for fish sex identification

Este artículo presenta FishProtoNet, un marco de visión por computadora no invasivo e interpretable basado en modelos fundacionales que logra una identificación precisa del sexo del pez delta (Hypomesus transpacificus) en sus etapas de desove, aunque enfrenta desafíos en la etapa subadulta debido a las menores diferencias morfológicas.

Lo esencial

¡Hola! Imagina que tienes un pequeño pez llamado Delta Smelt (un pez muy especial y en peligro de extinción de California). Para salvarlo, los científicos necesitan criar muchos en cautiverio, pero hay un problema: es muy difícil saber si un pez es macho o hembra solo mirándolo, especialmente cuando son jóvenes.

Antiguamente, para saberlo, tenían que abrir al pez o usar agujas, lo cual es muy estresante y a veces mata al animal. ¡Nada bueno para una especie que ya está en apuros!

Aquí es donde entra este estudio, que presenta una nueva herramienta llamada FishProtoNet. Vamos a explicarlo como si fuera una historia de detectives y maestros:

1. El Detective que no se distrae (El "Filtro de Fondo")

Imagina que intentas encontrar a un amigo en una foto de una fiesta muy ruidosa y llena de gente. Si miras la foto entera, te distraes con los globos, la comida o la decoración.

Los científicos se dieron cuenta de que las computadoras antiguas hacían lo mismo: miraban el fondo del tanque de agua en lugar de al pez. Para arreglarlo, usaron dos "superpoderes" de la inteligencia artificial moderna (llamados Grounding DINO y SAM2):

• Grounding DINO es como un detective que lee una nota que dice "pez" y señala exactamente dónde está el pez en la foto.
• SAM2 es como un recortador de imágenes mágico que toma esa señal y recorta solo al pez, tirando todo el fondo a la basura.

Resultado: Ahora la computadora solo mira al pez, limpio y solo, sin distracciones.

2. El Maestro que enseña con Ejemplos (La "Red de Prototipos")

Aquí está la parte más genial. La mayoría de las inteligencias artificiales son como cajas negras: te dan la respuesta ("es macho") pero no te dicen por qué. Eso asusta a los biólogos.

FishProtoNet es diferente. Imagina que tienes un maestro muy sabio que enseña a un estudiante nuevo.

• El maestro no memoriza miles de reglas abstractas. En su lugar, crea "ejemplos perfectos" (llamados prototipos).
• El maestro dice: "Mira, este pez tiene una pequeña curva en el vientre y un color ligeramente diferente. Ese es el ejemplo perfecto de una hembra".
• Luego, cuando llega un pez nuevo, el maestro lo compara con sus ejemplos: "¿Se parece más a mi ejemplo de hembra o al de macho?".

La ventaja: Si la computadora dice "es macho", puede mostrarte exactamente qué parte del pez le hizo pensar eso (como mostrar la foto del ejemplo perfecto). Es transparente y honesto, como un buen maestro.

3. El Entrenamiento con "Trucos" (Aumento de Datos)

Entrenar a una computadora con pocos peces es difícil; podría aprenderse de memoria las fotos en lugar de aprender a reconocerlos. Para evitar esto, los científicos usaron trucos de "gimnasio":

• Giraron las fotos un poco.
• Las voltearon (como si el pez nadara al revés).
• Ocultaron partes de la foto (como si el pez tuviera una mancha de agua o una etiqueta que tapara parte de su cuerpo).

Esto obligó a la computadora a aprender las señales reales del pez (su forma, su color) y no a depender de detalles accidentales.

¿Qué lograron?

• Cuando los peces son adultos: ¡Funciona muy bien! En las etapas donde los peces ya tienen diferencias claras entre machos y hembras, el sistema acierta más del 80% de las veces.
• Cuando los peces son bebés (subadultos): Es más difícil. Es como intentar adivinar si un niño será alto o bajo cuando aún es un bebé; las diferencias físicas aún no son obvias. Aquí el sistema acierta menos (alrededor del 55%), pero sigue siendo mejor que adivinar al azar.

En resumen

Este estudio creó un sistema de visión por computadora amigable y transparente que:

1. Recorta al pez para no distraerse con el fondo.
2. Aprende comparando con ejemplos perfectos (como un maestro), no como una caja negra.
3. Ayuda a salvar al Delta Smelt permitiendo a los científicos saber el sexo de los peces sin tocarlos ni estresarlos.

Es como tener un detective de peces que tiene ojos de águila, un corazón de maestro y que nunca se distrae con la decoración de la fiesta. ¡Una gran herramienta para la conservación!

Resumen técnico

Aquí tienes un resumen técnico detallado del artículo en español, estructurado según los puntos solicitados:

Título del Estudio:

FishProtoNet: Un marco interpretable utilizando modelos fundacionales para la identificación del sexo en peces.

1. Problema y Contexto

La identificación precisa del sexo en peces es crucial para optimizar las estrategias de cría y gestión en la acuicultura, especialmente para especies en peligro de extinción como el delta smelt (Hypomesus transpacificus), nativo de la bahía de San Francisco.

• Limitaciones actuales: Los métodos tradicionales (biopsia, disección, endoscopia o ultrasonido) son invasivos, estresantes para el animal y pueden causar mortalidad adicional, lo cual es inaceptable para poblaciones amenazadas.
• Desafíos de la Visión por Computadora (CV): Los métodos existentes basados en aprendizaje automático (ML) a menudo fallan por dos razones principales:
  1. Ruido de fondo: Los modelos tienden a memorizar sesgos del fondo (ej. color del tanque) en lugar de aprender las diferencias morfológicas intrínsecas entre sexos.
  2. Falta de interpretabilidad: Las redes neuronales profundas actúan como "cajas negras", lo que dificulta que los biólogos y científicos validen las decisiones del modelo, un requisito crítico en investigación científica.
  3. Diferencias sutiles: En etapas tempranas (subadultos), las diferencias morfológicas entre machos y hembras son mínimas y difíciles de distinguir incluso para humanos.

2. Metodología: FishProtoNet

Los autores proponen FishProtoNet, un marco robusto y no invasivo que integra modelos fundacionales de visión y aprendizaje por prototipos. La arquitectura consta de tres módulos principales:

A. Extracción de Regiones de Interés (ROI) con Modelos Fundacionales

Para eliminar el ruido de fondo y evitar el entrenamiento costoso de detectores específicos para cada especie, se utiliza un enfoque de zero-shot (sin entrenamiento previo específico):

• Grounding DINO: Se utiliza como detector de objetos de vocabulario abierto. Recibe un prompt de texto ("fish") y genera cajas delimitadoras (bounding boxes) alrededor de los peces sin necesidad de datos etiquetados de entrenamiento.
• Segment Anything Model 2 (SAM2): Las cajas delimitadoras de Grounding DINO se utilizan como "prompts visuales" para SAM2, que genera máscaras de segmentación precisas del pez.
• Resultado: Se obtienen ROIs limpios del pez, eliminando el fondo y reduciendo el sesgo de los datos.

B. Extracción de Características y Aumento de Datos

• Extracción: Se utiliza una red ResNet-50 (pre-entrenada en ImageNet) para extraer características semánticas de alto nivel de las máscaras del pez.
• Aumento de Datos (Data Augmentation): Para mejorar la robustez y evitar el sobreajuste en conjuntos de datos pequeños, se aplican estrategias sistemáticas: rotación aleatoria, volteo horizontal, color jitter (variación de color), recorte aleatorio y borrado aleatorio (random erasing). El borrado aleatorio es clave para simular partes faltantes o ocultar etiquetas de identificación (VIA tags) que podrían sesgar al modelo.

C. Predicción de Sexo Basada en Prototipos (Interpretabilidad)

En lugar de un clasificador estándar (como una capa totalmente conectada), se emplea un Árbol de Decisión Neuronal Basado en Prototipos:

• Mecanismo: El modelo aprende "prototipos" visuales (representaciones de características clave) para cada clase (macho/hembra) en un espacio métrico.
• Decisión: La predicción se realiza comparando las características de la imagen de entrada con estos prototipos aprendidos a través de nodos internos en un árbol.
• Interpretabilidad: Cada nodo del árbol corresponde a un prototipo visual específico. Esto permite visualizar exactamente qué características morfológicas (ej. forma de la aleta, coloración) llevó al modelo a tomar una decisión, ofreciendo una explicación transparente y verificable por expertos humanos.

3. Contribuciones Clave

1. Uso de Modelos Fundacionales: Implementación exitosa de Grounding DINO y SAM2 para la extracción de ROIs de peces de manera zero-shot, eliminando la necesidad de anotación masiva de datos para la detección.
2. Interpretabilidad Intrínseca: Desarrollo de una red neuronal de árbol de prototipos que no solo clasifica, sino que explica su razonamiento mediante la visualización de prototipos aprendidos, superando las limitaciones de las explicaciones post-hoc (como Grad-CAM).
3. Estrategia de Robustez: Selección sistemática de técnicas de aumento de datos (especialmente el borrado aleatorio) para mitigar el impacto de artefactos en las imágenes y mejorar la generalización del modelo.

4. Resultados

El modelo se evaluó en tres etapas del ciclo de vida del delta smelt: Subadulto (Sesión 1), Desove Temprano (Sesión 2) y Post-desove (Sesión 3).

• Rendimiento General:
  • Sesión 2 (Desove Temprano): 74.40% de precisión, 74.27% de puntuación F1.
  • Sesión 3 (Post-desove): 81.16% de precisión, 79.43% de puntuación F1.
  • Sesión 1 (Subadulto): 54.76% de precisión (desempeño limitado).
• Comparación:
  • FishProtoNet superó a un modelo base ResNet-50 en todas las sesiones.
  • Aunque un modelo Vision Transformer (ViT) obtuvo una precisión ligeramente superior en las sesiones 2 y 3 (85.50%), FishProtoNet se destaca por su transparencia y explicabilidad, un factor crucial para la adopción científica.
• Hallazgo Principal: El modelo funciona mejor cuando las diferencias morfológicas son más pronunciadas (etapas reproductivas). En la etapa subadulto, las diferencias físicas son demasiado sutiles para que la visión por computadora actual las distinga con alta fiabilidad.

5. Significado e Impacto

• Conservación: Proporciona una herramienta no invasiva para la gestión de especies en peligro, reduciendo el estrés y la mortalidad asociada con la identificación de sexo.
• Validación Científica: Al ser un modelo interpretable, permite a los biólogos validar que el modelo está aprendiendo características biológicas reales y no artefactos de la imagen, fomentando la confianza en la IA para la toma de decisiones en acuicultura.
• Futuro: El estudio sugiere que para mejorar la identificación en etapas tempranas (subadultos), será necesario integrar datos multimodales (como imágenes de infrarrojo o ultrasonido) junto con el aprendizaje visual actual.

En resumen, FishProtoNet representa un avance significativo al combinar la potencia de los modelos fundacionales modernos con la necesidad crítica de interpretabilidad en la biología aplicada, ofreciendo una solución viable para la cría y conservación de especies acuáticas amenazadas.