Architecture-Dependent Causal Transfer of Activation States Across Large Language Models
Este artículo demuestra que, si bien los estados de activación internos pueden proyectarse entre diferentes arquitecturas de modelos de lenguaje de gran tamaño con un alineamiento representacional mensurable, la transferencia causal exitosa de extremo a extremo de estos estados durante la generación depende estrictamente de la arquitectura, funcionando de manera confiable solo para pares específicos de tipo decodificador en lugar de servir como un mecanismo universal.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina a dos personas intentando hablar entre sí, pero se ven obligadas a hablar a través de un traductor que habla un tercer idioma. La primera persona susurra un pensamiento, el traductor lo escribe, la segunda persona lo lee y luego el traductor escribe una respuesta. Este proceso lleva tiempo, cuesta dinero y conlleva el riesgo de perder el significado original en la traducción. Hoy en día, los sistemas de inteligencia artificial se comunican exactamente de esta manera. Cuando un programa informático necesita enviar información a otro, convierte sus pensamientos internos en texto legible por humanos, envía ese texto, y el programa receptor lee ese texto y lo convierte de nuevo en sus propios pensamientos internos. Esta capa intermedia de texto es la única forma que conocen actualmente para hablar. Pero, ¿qué pasaría si pudieran saltarse el texto por completo? ¿Qué pasaría si una máquina pudiera simplemente entregar su estado interno directamente a otra, como pasar una nota sin tener que escribirla nunca? Esta es la pregunta que un grupo de investigadores se propuso responder: ¿pueden diferentes tipos de inteligencia artificial, creados por diferentes empresas y entrenados con diferentes datos, entender los signos internos de los otros sin necesidad de traducirlos primero a palabras?
Para entender el experimento, ayuda saber que estos programas, conocidos como modelos de lenguaje extensos, no piensan en palabras de la misma manera que los humanos. En su lugar, procesan la información como vastos y cambiantes patrones de números llamados estados de activación. Puedes pensar en estos patrones como el disparo eléctrico específico de un cerebro en un solo momento. Cuando un modelo lee una pregunta, un patrón de actividad único se ilumina en su interior. El investigador quería saber si el patrón para una idea específica en un modelo se parecía lo suficiente al patrón para la misma idea en un modelo diferente como para poder construir un puente entre ellos. Si los patrones eran lo suficientemente similares, un ordenador podría aprender a traducir la señal interna del primer modelo directamente a la señal interna del segundo, evitando la necesidad de usar texto por completo.
Un investigador se propuso probar esta idea utilizando cuatro modelos de inteligencia artificial diferentes. Estos modelos fueron elegidos cuidadosamente para representar diferentes familias de tecnología e historias de entrenamiento distintas. Tres de ellos fueron construidos para generar texto palabra por palabra, mientras que el cuarto fue construido para comprender el texto en ambas direcciones a la vez. El investigador primero comprobó si los patrones internos de estos modelos eran siquiera lo suficientemente similares como para ser comparados. Observaron cómo reaccionaban los modelos a pares de conceptos relacionados, como palabras que son sinónimos o palabras que suelen encontrarse juntas en los libros. Descubrieron que, para los tres modelos construidos de la misma forma, los patrones internos eran, de hecho, similares. Sin embargo, el modelo construido de forma diferente no mostró tal similitud. Esto sugirió que la forma en que se construye un modelo importa más que quién lo construyó o con qué datos fue entrenado.
A continuación, el investigador intentó construir un puente. Entrenaron un programa informático pequeño y sencillo para que actuara como traductor, aprendiendo a convertir la señal interna de un modelo en la señal interna de otro. Probaron este puente mostrándole una pregunta, convirtiendo la reacción de ese modelo a esa pregunta y viendo si el segundo modelo podía reconocerla como la respuesta correcta entre una lista de veinte posibilidades. Para los tres modelos que fueron construidos de forma similar, este puente funcionó sorprendentemente bien. El segundo modelo identificó correctamente la fuente de la señal sobre la pregunta aproximadamente la mitad de las veces, lo cual es mucho mejor que el azar. Pero para el modelo construido de forma diferente, el puente falló por completo; el segundo modelo no pudo reconocer la señal en absoluto. Esto confirmó que, si bien una capa de traducción es posible, solo funciona entre modelos que comparten una familia arquitectónica específica.
La prueba final y más difícil fue ver si esta traducción podía realmente cambiar el comportamiento del modelo receptor en tiempo real. El investigador tomó la señal traducida del primer modelo y la inyectó directamente en el segundo modelo mientras este se encontraba en medio de la escritura de una nueva respuesta. Querían ver si esta inyección orientaba la respuesta del segundo modelo hacia el tema de la pregunta original. Los resultados fueron mixtos y revelaron una limitación crucial. Cuando lo intentaron entre dos modelos específicos, la inyección funcionó. La salida del segundo modelo cambió notablemente hacia el tema de la pregunta del primer modelo, demostrando que la señal había sido recibida y tuvo un efecto causal. Sin embargo, cuando intentaron el mismo truco con un tercer modelo, falló por completo. Aunque los patrones internos parecían similares sobre el papel, la inyección de la señal no cambió la respuesta en absoluto.
El investigador concluyó que, si bien es posible transferir el portador físico de un pensamiento —el patrón específico de actividad eléctrica— de una máquina a otra, esto no significa que las máquinas estén compartiendo un entendimiento profundo o un significado común. En los casos exitosos, el segundo modelo no necesariamente dio la respuesta correcta a la pregunta original. En su lugar, produjo un texto temáticamente relacionado, como hablar de triángulos cuando la pregunta original era sobre cuadrados. La señal se transfirió, pero el significado no se preservó perfectamente. El estudio muestra que la comunicación directa entre inteligencias artificiales es técnicamente posible, pero no es un lenguaje universal. Depende enteramente del diseño específico de las máquinas involucradas. Si los diseños no coinciden, la señal no puede ser comprendida y la transferencia falla. Esto significa que, en el futuro, si queremos que diferentes sistemas de IA hablen directamente entre sí, no podemos asumir que simplemente funcionarán; debemos asegurar que estén construidos de formas compatibles, o tendremos que construir un traductor específico para cada par de sistemas que queramos conectar.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.