Semantic Bandits: In-Context Exploration-Exploitation is Biased by Semantic Priors
Este artículo introduce el marco de "bandido semántico" para demostrar que los compromisos entre exploración y explotación de los grandes modelos de lenguaje están significativamente sesgados por los sesgos semánticos derivados del preentrenamiento, donde las etiquetas informativas pueden tanto mejorar como degradar el rendimiento dependiendo de su alineación con las recompensas, y las recompensas negativas desencadenan desproporcionadamente la exploración debido a los sesgos de escala esperada.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Imagina un programa informático que ha leído casi todos los libros, artículos y sitios web de internet. Puede escribir poesía, resolver problemas matemáticos y mantener conversaciones que se sienten notablemente humanas. Este es un modelo de lenguaje de gran tamaño. Ahora, imagina darle a este programa un trabajo donde debe tomar una serie de decisiones para obtener la mejor recompensa posible, como un agricultor que decide en qué campo sembrar cultivos, o un motor de recomendación que elige qué camisa mostrarle a un cliente. Esto es una tarea de toma de decisiones. En el mundo de la informática, existe una forma clásica de probar qué tan bien aprende un agente de la experiencia: el problema de la banda de brazos múltiples (multi-armed bandit). Se llama así por una fila de máquinas tragamonedas en un casino, cada una con un pago desconocido. Para ganar la mayor cantidad de dinero, debes equilibrar dos necesidades contrapuestas: quedarte con la máquina que parece estar pagando más en este momento, y probar las otras máquinas por si alguna de ellas es realmente mejor. Este equilibrio se llama exploración frente a explotación. Durante décadas, los investigadores han estudiado cómo resolver esto matemáticamente. Pero cuando empezaron a usar estos poderosos modelos de lenguaje como los tomadores de decisiones, notaron algo extraño. Los modelos no solo estaban mirando los números; estaban leyendo las palabras.
Un equipo de investigadores de la Universidad de McGill y Mila decidió investigar este fenómeno creando un nuevo tipo de prueba llamada el "bandido semántico". En una prueba estándar, las opciones se etiquetan con códigos neutrales como "Brazo A" o "Brazo B". En esta nueva prueba, los investigadores dieron a las opciones nombres que conllevan significado, como "divino", "suave" o "asqueroso". Querían ver si la computadora permitiría que el significado de estas palabras anulara los datos reales que estaba recolectando. Establecieron un escenario donde la computadora actuaba como un agricultor que elige entre tres campos. Cada campo producía una cantidad aleatoria de rendimiento de cultivo, y el objetivo era maximizar la cosecha total a lo largo del tiempo. Los investigadores dieron a los campos nombres que sugerían su calidad. En una versión, el mejor campo se llamaba "divino" y el peor "asqueroso". En otra versión, intercambiaron los nombres, de modo que el mejor campo se llamaba "asqueroso" y el peor "divino".
Los resultados fueron impactantes. Cuando los nombres coincidían con la realidad de los campos —cuando el campo "divino" producía realmente la mayor cantidad de cultivos— la computadora aprendió increíblemente rápido. Dejó de probar los otros campos casi de inmediato y se quedó con el "divino", logrando una puntuación perfecta con muy poca prueba y error. Sin embargo, cuando los nombres eran engañosos, la computadora cometió un error catastrófico. Se convenció de que el campo llamado "divino" era el mejor, incluso después de que los datos mostraran que estaba produciendo la peor cosecha. Ignoró la evidencia y siguió eligiendo el campo "divino", mientras que el campo llamado "asqueroso" (que era en realidad el mejor) fue dejado de lado. La computadora no estaba actuando según los números; estaba actuando según las asociaciones que había aprendido al leer miles de millones de palabras durante su entrenamiento. Había aprendido que "divino" usualmente significa bueno y "asqueroso" usualmente significa malo, y aplicó esa regla incluso cuando los números específicos frente a ella decían lo contrario.
Los investigadores también descubrieron que la computadora reaccionaba de manera diferente a los números positivos y negativos. Cuando la computadora recibía una recompensa negativa —una pérdida o una penalización—, de repente se volvía mucho más curiosa. Comenzaba a probar todas las diferentes opciones nuevamente, explorando los campos desconocidos con alta energía. Pero cuando recibía una recompensa positiva, incluso una pequeña, tendía a dejar de explorar y quedarse con lo que sabía. Esto sugiere que la computadora no ve los números como señales abstractas en el vacío. En cambio, parece tener una expectativa interna de cómo se ve una recompensa "normal", probablemente moldeada por la forma en que las recompensas son descritas en el texto en el que fue entrenada. Un número negativo rompe esa expectativa de forma tan severa que obliga a la computadora a reevaluar todo, mientras que un número positivo se siente seguro y la anima a seguir el curso establecido.
Este comportamiento no se limitó a un modelo de computadora específico. Los investigadores probaron tres modelos de lenguaje de gran tamaño diferentes, que iban desde sistemas de código abierto hasta versiones comerciales avanzadas, y todos mostraron el mismo sesgo. El efecto fue tan fuerte que podía convertir un simple problema de decisión en un fracaso. En una tarea en la que un programa de computadora clásico resolvería el problema en unos pocos pasos, el modelo de lenguaje podía fallar completamente si las palabras eran ligeramente engañosas. Los investigadores encontraron que podían solucionar esto parcialmente diciéndole explícitamente a la computadora en sus instrucciones que ignorara los nombres y que siguiera explorando, pero el sesgo era profundo. Incluso con advertencias, los modelos a menudo luchaban por separar el significado de las palabras de la realidad de los números.
El estudio concluye que el uso del lenguaje para describir un entorno de toma de decisiones introduce sesgos inevitables. Debido a que estos modelos son entrenados en la coocurrencia de palabras en el texto humano, portan un conjunto de suposiciones sobre cómo funciona el mundo. Cuando esas suposiciones se alinean con la tarea, el modelo es un genio, aprendiendo más rápido que cualquier algoritmo tradicional. Cuando chocan, el modelo se vuelve obstinado, ignorando la evidencia clara porque está demasiado ocupado siguiendo la historia que las palabras le están contando. Esto no es un error en el código, sino una característica de cómo aprenden estos sistemas del lenguaje. A medida que estos modelos se despliegan en situaciones del mundo real, desde asesoría financiera hasta la conducción autónoma, comprender cuándo su intuición lingüística ayuda y cuándo los lleva por mal camino es crítico. Los investigadores encontraron que, en el escenario de toma de decisiones más simple posible, una computadora puede ser engañada para cometer la peor elección posible simplemente cambiando la etiqueta de un botón.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.