On the Role of Citations in Preference Data
Este artículo investiga cómo los jueces humanos y los LLM de código abierto evalúan las citas en la respuesta a preguntas científicas, revelando que los humanos prefieren citas diversas pero menos numerosas, mientras que los LLM exhiben preferencias relacionadas con las citas que varían según el modelo y los datos, ofreciendo así perspectivas críticas para mejorar la recopilación de datos de preferencia en el modelado de recompensa.
Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo
En el mundo de la inteligencia artificial, que evoluciona rápidamente, un tipo específico de tarea se ha vuelto central para la forma en que estos sistemas aprenden y mejoran: pedirle a una computadora que elija la mejor de dos respuestas. Este proceso, conocido como aprendizaje de preferencias, es el motor detrás del entrenamiento de la IA moderna. Cuando un sistema genera dos respuestas diferentes a una pregunta, un juez —ya sea un experto humano o otro programa de IA— decide cuál es superior. Estas elecciones se utilizan luego para enseñar al sistema original cómo comportarse más como un experto de confianza. Sin embargo, una pieza crítica del rompecabezas ha permanecido poco clara: cuando estos jueces examinan respuestas que incluyen referencias a fuentes externas, conocidas como citas, ¿qué es exactamente lo que buscan? ¿Valoran la cantidad de fuentes, la variedad de esas fuentes o la frescura de la información? Comprender esto es vital porque las citas están destinadas a ser un escudo contra la fabricación, permitiendo a los usuarios verificar que una IA está diciendo la verdad. Si los sistemas que entrenan a la IA no comprenden cómo ponderar estas referencias correctamente, los modelos resultantes pueden aprender a priorizar las cosas equivocadas, como enumerar muchas fuentes sin comprobar su calidad, o ignorar la credibilidad de la información por completo.
Un equipo de investigadores se propuso investigar esta pregunta exacta examinando cómo tanto los expertos humanos como los programas de inteligencia artificial evalúan respuestas científicas que incluyen citas. Se centraron en un escenario donde se le pide a una IA una pregunta científica compleja y esta proporciona una respuesta larga y detallada respaldada por referencias a artículos académicos. Los investigadores recopilaron miles de estos pares de respuestas, donde un experto humano eligió una sobre la otra, y luego pidieron a cuatro modelos de lenguaje de gran tamaño diferentes que realizaran las mismas elecciones. Para comprender las reglas ocultas detrás de estas decisiones, el equipo utilizó un método estadístico que le permitió aislar características específicas de las respuestas, tales como cuántas citas se utilizaron, qué tan diversas eran las fuentes y si las referencias coincidían con el texto, controlando otros factores como la longitud de la respuesta.
El estudio reveló un patrón distinto y algo sorprendente en la forma en que los humanos juzgan estas respuestas. Cuando las personas revisaban las respuestas científicas, preferían aquellas que se apoyaban en una amplia variedad de fuentes diferentes, lo que sugiere que valoraban la amplitud y la perspectiva. Sin embargo, también preferían respuestas que tuvieran menos citas en total. Esto indica que, si bien los humanos quieren ver que una respuesta está bien investigada, les desagradan las respuestas que se sienten saturadas con un número excesivo de referencias. Además, los humanos fueron rápidos en penalizar las respuestas donde las referencias en el texto no coincidían con la lista de fuentes al final, un error común que sugiere que la IA podría estar inventando referencias. Curiosamente, la antigüedad de las fuentes importaba muy poco a los jueces humanos; no mostraron una fuerte preferencia por los artículos más nuevos sobre los más antiguos.
En contraste, los jueces de inteligencia artificial se comportaron de manera bastante diferente, y sus preferencias variaron dependiendo de qué modelo específico realizaba el juicio. Aunque los modelos de IA también tendían a gustar de las fuentes diversas, a menudo mostraban una reacción mucho más fuerte a la cantidad de citas que los humanos. Algunos de los jueces de IA detestaban fuertmente las respuestas con muchas citas, mientras que otros eran indiferentes. Más críticamente, los modelos de IA no detectaron ni penalizaron las referencias discordantes que los humanos consideraron tan problemáticas. En su lugar, los jueces de IA se vieron fuertemente influenciados por características superficiales, como la longitud de la respuesta. Varios de los modelos prefirieron consistentemente las respuestas más largas, independientemente de si la longitud adicional añadía valor o solo rellenaba espacio. Esto sugiere que, sin un entrenamiento específico o acceso a los documentos de las fuentes reales, estos sistemas de IA no están realmente "leyendo" las citas para verificar su exactitud, sino que están reaccionando a los patrones visuales o estructurales del texto.
Los investigadores encontraron que estas diferencias no eran solo pequeñas peculiaridades, sino divergencias significativas que podrían afectar la forma en que se entrenarán los futuros sistemas de IA. Debido a que los modelos de IA se utilizan a menudo para etiquetar datos para entrenar otros modelos, confiar en ellos sin comprender sus sesgos específicos podría llevar a un sistema que aprenda a priorizar la longitud o el recuento de citas sobre la exactitud real y la diversidad de las fuentes. El estudio destaca que, si bien la IA puede imitar el juicio humano de muchas maneras, carece de la comprensión intuitiva de lo que hace que una referencia sea creíble o consistente. Los autores sugieren que, para construir mejores sistemas, los desarrolladores deben ser más cuidadosos sobre cómo recopilan los datos de preferencia, asegurando que las directrices humanas sean claras sobre la calidad de las citas y que los jueces de IA tengan herramientas para verificar las fuentes o sean seleccionados basándose en una comprensión profunda de sus sesgos específicos. En última instancia, este trabajo sirve como un recordatorio de que, en la búsqueda de hacer que la IA sea más confiable, los detalles de cómo pedimos que elija entre respuestas importan tanto como las respuestas mismas.
¿Ahogado en artículos de tu campo?
Recibe resúmenes diarios de los artículos más novedosos que coincidan con tus palabras clave de investigación — con resúmenes técnicos, en tu idioma.