Would this change your answer? Evaluating Explanations of LLM Behavior In The Wild with Counterfactual Experiments
Este artículo presenta CHIVE, un flujo de trabajo agéntico que evalúa y mejora los métodos de explicación de los LLM mediante el uso de experimentos contrafácticos para evaluar si las explicaciones pueden predecir con precisión el comportamiento del modelo en entradas relacionadas, revelando que las técnicas actuales de interpretabilidad no ofrecen ninguna ventaja predictiva y demostrando que el entrenamiento con datos generados por CHIVE mejora la generalización.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
Para entender de qué trata esta investigación, imagine que intenta comprender por qué una persona toma una decisión específica. Si le pregunta, podría darle una razón, pero esa razón podría ser una suposición, una racionalización o simplemente errónea. En el mundo de la inteligencia artificial, los investigadores enfrentan un desafío similar con los modelos de lenguaje extensos. Estos sistemas son herramientas poderosas que pueden escribir código, contar historias y resolver problemas, pero también son "cajas negras". Podemos ver lo que dicen, pero no podemos ver fácilmente los engranajes internos que giran para producir esas palabras. Los científicos han intentado durante mucho tiempo construir herramientas para echar un vistazo dentro de estos engranajes, con la esperanza de encontrar la verdadera causa del comportamiento de un modelo. El objetivo es saber si un modelo está siendo honesto sobre su propio razonamiento o si está ocultando un motivo diferente. La pregunta es: ¿cómo sabemos si una explicación es realmente buena? Si un investigador dice: "El modelo cometió un error porque se confundió con una palabra específica", ¿cómo podemos probar si eso es cierto?
Un equipo de investigadores de Anthropic decidió probar esto yendo más allá de las simples suposiciones y entrando en el terreno del "qué pasaría si". En lugar de solo pedirle a un modelo que se explique, construyeron un sistema que cambia activamente el entorno del modelo para ver si la explicación se sostiene. Llaman a este proceso investigación contrafáctica. Funciona así: si usted cree que un modelo cometió un error debido a una palabra específica, cambia esa palabra y observa si el error desaparece. Si el error desaparece cuando se cambia la palabra, es probable que su explicación fuera correcta. Si el error permanece igual, su explicación fue errónea. Este método convierte una teoría vaga en un hecho comprobable. Los investigadores querían ver si las herramientas actuales que los científicos usan para mirar dentro de los modelos de IA podían realmente ayudar a predecir estos cambios, y si podrían enseñar a los modelos a comprender mejor su propio comportamiento.
Para hacer esto, los investigadores crearon un nuevo flujo de trabajo automatizado llamado CHIVE. Este sistema actúa como un investigador incansable. Comienza pidiendo a un modelo de IA objetivo miles de preguntas de conversaciones del mundo real, buscando momentos donde el modelo hace algo inesperado o extraño. Una vez que encuentra un comportamiento extraño, el sistema no se detiene ahí. Lanza una serie de experimentos. Toma la pregunta original y realiza pequeñas ediciones específicas en ella —como cambiar un nombre, eliminar una oración o intercambiar una palabra— y luego le hace al modelo la nueva pregunta. Hace esto docenas de veces para ver con qué frecuencia ocurre el comportamiento extraño con la pregunta original frente a la editada. Si cambiar una palabra específica hace que el comportamiento extraño desaparezca, el sistema registra eso como prueba de que la palabra era la causa. Este proceso genera miles de ejemplos de alta calidad donde la causa de un comportamiento es conocida y verificada por el experimento mismo.
Los investigadores utilizaron esta enorme colección de ejemplos verificados para probar dos ideas principales. Primero, querían ver si las herramientas existentes que los científicos usan para interpretar los modelos de IA eran realmente útiles. Estas herramientas están diseñadas para leer la actividad interna del modelo, de forma similar a cómo un médico podría leer una tomografía cerebral, para encontrar los "pensamientos" detrás de una respuesta. Los investigadores entregaron estas herramientas a un agente informático inteligente y le pidieron que predijera si un cambio específico en un prompt alteraría el comportamiento del modelo. Esperaban que las herramientas le dieran al agente una ventaja significativa, ayudándole a ver las causas ocultas que una simple lectura de la conversación pasaría por alto. Sorprendentemente, las herramientas no ayudaron en absoluto. El agente se desempeñó igual de bien, o incluso peor, cuando tenía acceso a estas herramientas de lectura interna en comparación con cuando solo tenía el texto de la conversación. Las herramientas no lograron revelar la conexión entre un aporte específico y el comportamiento resultante, dejando al agente a oscuras tal como estaba antes.
Segundo, los investigadores preguntaron si podían enseñar a los modelos a predecir su propio comportamiento utilizando los datos que habían recopilado. Tomaron los modelos objetivo y los entrenaron con los miles de experimentos que habían realizado. La tarea de entrenamiento era simple: mostrar al modelo una conversación y un cambio propuesto, y pedirle que adivinara si ese cambio detendría el comportamiento extraño. Los resultados aquí fueron mucho más prometedores. Los modelos que recibieron este entrenamiento se volvieron significativamente mejores en la predicción del resultado de estos cambios. Aprendieron a reconocer patrones en su propio comportamiento que no habían notado antes. Esta mejora se mantuvo incluso cuando los investigadores probaron los modelos con tipos completamente nuevos de preguntas y escenarios que nunca habían visto durante el entrenamiento. Los modelos habían aprendido una habilidad general para comprender cómo sus propias acciones eran influenciadas por sus entradas.
El estudio también exploró si los modelos simplemente estaban memorizando las respuestas o si habían adquirido una comprensión interna más profunda de sí mismos. Para probar esto, los investigadores entrenaron a un modelo con datos sobre su propio comportamiento y a otro modelo con datos sobre el comportamiento de un modelo diferente. Si el primer modelo tuviera un acceso especial y privado a su propio estado interno, debería haber tenido un mejor desempeño que el segundo modelo. Sin embargo, ambos modelos funcionaron por igual. Esto sugiere que los modelos no estaban accediendo a algún conocimiento oculto y privilegiado sobre sí mismos. En su lugar, estaban aprendiendo a reconocer los patrones de causa y efecto a partir de los datos que se les mostraban, de forma muy similar a un estudiante que aprende un tema estudiando ejemplos.
Los hallazgos ofrecen una imagen clara de dónde se encuentra el campo. Las herramientas actuales para mirar dentro de los modelos de IA, que han mostrado promesa en pruebas más simples y controladas, no parecen funcionar cuando se aplican a los comportamientos desordenados y complejos que ocurren en las conversaciones del mundo real. No logran proporcionar el momento de revelación que explica por qué un modelo hizo lo que hizo. Por otro lado, el estudio muestra que los modelos pueden ser entrenados para volverse mucho mejores en la predicción de sus propias reacciones ante cambios en su entorno. Esto sugiere que el camino para comprender el comportamiento de la IA podría no ser mediante la construcción de mejores microscopios para mirar dentro de la máquina, sino a través del entrenamiento de la máquina para que reconozca los patrones de sus propias acciones. Los investigadores han publicado todos sus datos y código, proporcionando un nuevo fundamento para que otros continúen este trabajo, asegurando que las explicaciones futuras del comportamiento de la IA estén basadas en lo que realmente sucede cuando el mundo cambia, y no solo en lo que creemos que podría estar pasando.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.