Imagina que estás intentando averiguar si un nuevo y misterioso libro fue escrito por el mismo autor de un clásico famoso que amas. En el mundo de la inteligencia artificial, este es un problema enorme. Tenemos cerebros computacionales gigantes llamados Modelos de Lenguaje Extensos (LLM, por sus siglas en inglés) que escriben historias, resuelven problemas matemáticos y charlan con nosotros. A veces, estos modelos son retocados, mezclados o reducidos para ejecutarse en dispositivos más pequeños. A veces, la gente toma un modelo protegido, lo cambia ligeramente y lo vende como propio sin permiso. Para atraparlos, necesitamos demostrar su "árbol genealógico": su procedencia.

La parte difícil es que estos modelos de IA son como camaleones. Si haces la misma pregunta de una forma ligeramente distinta, o si el modelo ha sido retocado para ser más rápido, podría dar una respuesta completamente diferente, incluso si es el mismo "cerebro" subyacente. Los métodos anteriores intentaban atrapar estos modelos observando las palabras exactas que elegían, pero eso es como intentar identificar a una persona solo por su vestimenta; si se cambia de ropa, podrías no reconocerla. Los científicos necesitaban una forma de mirar más allá de la superficie y ver la estructura profunda e inalterable de cómo piensa el modelo.

Aquí es donde entra en juego un equipo de la Universidad de Oxford con una idea ingeniosa llamada Stemma. Piensa en esto como un detective que deja de preguntar "¿Qué llevas puesto hoy?" y empieza a preguntar "¿Si te muestro un menú con cuatro opciones, cuál eliges?". Los investigadores se dieron cuenta de que, incluso si una IA cambia su personalidad o su redacción, sigue tendiendo a elegir la misma categoría de respuesta cuando se enfrenta a una elección específica. A estas preferencias ocultas las llaman "regiones de decisión inducidas".

El equipo probó esto creando un sistema de huellas dactilares que no se preocupa por las palabras elegantes que usa una IA, sino que se centra en las elecciones que realiza. Descubrieron que, si dos modelos están relacionados (como un padre y un hijo), casi siempre elegirán la misma opción de una lista de opciones, incluso si la lista se desordena o si el modelo se despliega en un entorno totalmente diferente. Los modelos no relacionados, sin embargo, tienden a elegir opciones distintas. Al probar esta "consistencia de elección" a través de cientos de modelos diferentes y miles de preguntas, Stemma demostó ser increíblemente bueno detectando vínculos familiares. En sus pruebas, identificó correctamente modelos relacionados el 96.7% de las veces y pudo detectar un modelo relacionado incluso cuando solo había un 1% de probabilidad de una falsa alarma. Es una forma robusta de decir: "Sí, este nuevo modelo sospechoso está definitivamente relacionado con aquel original", sin necesidad de ver el código secreto del modelo.

La nueva lupa del detective

Entonces, ¿cómo funciona esto realmente? El artículo introduce el concepto de Regiones de Decisión Inducidas. Imagina que tienes una habitación gigante y desordenada llena de infinitas posibilidades (así es como funciona la IA normalmente). Es difícil saber si dos personas están en la misma habitación si solo están deambulando por ahí. Pero, ¿qué pasaría si pones una valla en medio de la habitación y les pides que elijan un lado? De repente, tienes una "región de decisión" clara.

Los investigadores se dieron cuenta de que, aunque los modelos de IA pueden ser impredecibles con preguntas abiertas, son sorprendentemente consistentes cuando se les obliga a tomar una decisión entre opciones específicas, como en un examen de opción múltiple. Llaman al área donde un modelo elige consistentemente una respuesta específica su "región de decisión inducida".

El artículo argumenta que los métodos anteriores se centraban demasiado en la "forma superficial" (el texto exacto que la IA escupe). Si le pides a una IA que "escriba un poema sobre un gato" y luego le pides que "componga un verso sobre un felino", un modelo relacionado podría darte dos poemas muy distintos, haciendo que parezcan no relacionados. Pero si les preguntas a ambos: "¿Es la respuesta A, B, C o D?", es probable que ambos señalen la misma letra, incluso si la explican de forma diferente. Stemma ignora la poesía y solo mira la letra.

Las tres reglas del juego

Para construir su huella dactilar, el equipo no se limitó a elegir preguntas al azar. Tenían que ser inteligentes al respecto. Crearon un sistema que selecciona preguntas basadas en tres reglas estrictas, que llaman Estabilidad, Robustez y Especificidad.

1. Estabilidad: Imagina que tienes una pregunta con cuatro respuestas: A, B, C y D. Si desordenas el orden para que sean D, C, B, A, un modelo estable debería seguir eligiendo la misma idea, incluso si la letra cambia. Stemma solo utiliza preguntas donde el modelo es consistente sin importar cómo se desordene el mazo.
2. Robustez: Esto se trata de estar seguro de tu elección. Si un modelo está vacilando justo en el límite entre dos respuestas, un pequeño cambio en el sistema podría hacerlo cambiar de opinión. Stemma busca preguntas donde el modelo está confiadamente en un rincón de la sala de decisiones, lejos de las paredes.
3. Especificidad: Esta es la parte más importante. No quieres una pregunta donde todos los modelos elijan la misma respuesta (como "¿Es el cielo azul?"). Eso no es una huella dactilar; es solo sentido común. Stema busca preguntas donde el modelo original elige una respuesta específica que otros modelos no relacionados suelen errar. Si un modelo sospechoso también elige esa respuesta rara y específica, es una señal fuerte de que están relacionados.

La gran prueba

Los investigadores pusieron a prueba a Stemma con un experimento masivo. Reunieron 56 modelos de IA públicos diferentes (las "fuentes") y crearon 770 parejas de sospechosos. Algunos sospechosos eran copias directas, otros eran versiones ajustadas (fine-tuned), otros eran fusiones con otros modelos y otros eran completamente diferentes. También probaron 1,260 parejas donde los modelos se desplegaron de distintas maneras, como cambiando los ajustes de temperatura o añadiendo instrucciones de juego de rol.

Los resultados fueron impactantes. Stema logró un AUC de 0.967 (una puntuación donde 1.0 es perfecto) y pudo identificar un modelo relacionado el 87.8% de las veces, manteniendo las falsas alarmas en solo un 1%. Cuando probaron el sistema en modelos que habían sido desplegados en diversos entornos del mundo real (como añadir un mensaje de "seguridad" o cambiar su forma de razonar paso a paso), la puntuación fue incluso mayor, alcanzando un 0.995 AUC.

Compara esto con los otros métodos que probaron (como LLMmap, LLMPrint y otros). Esos métodos tuvieron dificultades, mostrando a menudo un rendimiento no mejor que el azar cuando los modelos eran retocados o desplegados de forma distinta. El artículo sugiere que esos métodos antiguos dependen demasiado de las palabras específicas que genera la IA, las cuales cambian fácilmente. Stema, al centrarse en las regiones de decisión subyacentes, se mantiene constante.

Lo que esto significa (y lo que no)

El artículo es muy claro sobre qué es y qué no es Stema. Es un método de caja negra, lo que significa que no necesitas ver el código interno o los pesos del modelo; solo le haces preguntas y observas qué elige. Esto lo hace práctico para la auditoría en el mundo real.

Sin embargo, los autores tienen cuidado de no llamar a esto una solución mágica. Señalan que Stema proporciona evidencia estadística, no una prueba absoluta. Es como una prueba de ADN que dice: "Hay un 99% de probabilidad de que estos dos estén relacionados", pero no es un veredicto judicial por sí solo. También advierten que si un atacante supiera exactamente qué preguntas está usando Stema, podría entrenar a su modelo para engañar en esas preguntas específicas. Pero dado que Stema utiliza un enorme conjunto de preguntas y selecciona las mejores sobre la marcha, esto es difícil de lograr.

El artículo también destaca una limitación: actualmente, Stema depende de preguntas de opción múltiple. Si un modelo es demasiado débil para comprender un formato de opción múltiple, este método podría no funcionar. Pero para la gran mayoría de los modelos capaces que existen, este nuevo enfoque de mapear el caos de las preguntas abiertas en un espacio de decisión finito parece ser la clave para desbloquear el verdadero árbol genealógico de los modelos de IA.

Al final, Stema es un recordatorio de que, aunque los modelos de IA pueden usar muchas máscaras y hablar con muchas voces, su lógica central deja una huella dactilar que es sorprendentemente difícil de borrar. Al hacer las preguntas correctas y mirar más allá de la superficie, finalmente podemos empezar a ver quién escribió realmente el código.