💻 computer science

Persona Conditioning as an Assessor-Sensitivity Probe for LLM-Based IR Evaluation

Este artículo investiga cómo el condicionamiento de la persona afecta la evaluación de la recuperación de información basada en LLM, revelando que, si bien los roles de evaluador específicos y la capacidad del modelo influyen significativamente en la rigurosidad del juicio y la estabilidad del ranking local, los modelos de alta capacidad generalmente preservan los rankings generales del sistema, estableciendo así el juicio condicionado por persona como una herramienta de diagnóstico controlada para realizar pruebas de estrés a los procesos de evaluación de IR.

Autores originales: Samaneh Mohtadi, Pietro Bernardelle, Joel Mackenzie, Gianluca Demartini

Publicado 2026-08-12

📖 8 min de lectura🧠 Análisis profundo

CC BY 4.0

Autores originales: Samaneh Mohtadi, Pietro Bernardelle, Joel Mackenzie, Gianluca Demartini

Artículo original bajo licencia CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Esta es una explicación generada por IA del artículo a continuación. No ha sido escrita ni avalada por los autores. Para mayor precisión técnica, consulte el artículo original. Leer descargo de responsabilidad completo

Imagina que estás tratando de decidir qué película es la mejor del año. Le pides a un grupo de amigos que vean algunas y den una puntuación. Pero aquí está el giro: le pides a un amigo que juzgue como un crítico de cine estricto que odia el ritmo lento, a otro que juzgue como un adolescente que busca efectos especiales geniales, y a un tercero que juzgue como un padre que busca valor educativo. De repente, ¡la "mejor" película podría cambiar dependiendo de a quién le preguntaste! Esto es el corazón de la evaluación de la Recuperación de Información (IR), la ciencia de determinar qué tan bien los motores de búsqueda encuentran las respuestas correctas. Durante décadas, los humanos han hecho este juicio, pero es lento y costoso. Ahora, los científicos están usando Modelos de Lenguaje de Gran Escala (LLM) —chatbots de IA superinteligentes— para hacer el trabajo de juez en su lugar. La gran pregunta es: si le pedimos a la IA que "actúe" como diferentes tipos de personas, ¿cambia el resultado? ¿Depende la respuesta de la IA de la "máscara" que lleva puesta?

Este artículo profundiza en esa misma cuestión. Los investigadores querían ver si dar a una IA una "persona" específica (como "un médico" o "un abogado") cambia cómo clasifica los resultados de búsqueda, o si simplemente da la misma respuesta sin importar qué. Trataron estas personas como una prueba de estrés, pinchando y retocando a la IA para ver qué tan inestables son sus opiniones. Encontraron que, si bien la IA no cambia por completo toda su lista de ganadores y perdedores, sí se vuelve un poco caprichosa. Los resultados sugieren que el juicio de la IA no es una verdad fija; se desplaza ligeramente dependiendo del papel que esté desempeñando, y este desplazamiento es más importante para los modelos de IA más pequeños y menos potentes que para los grandes y cerebrales.

La historia del juez cambiante de forma

En el mundo de los motores de búsqueda, necesitamos saber si un nuevo algoritmo es realmente mejor que el anterior. Para averiguarlo, ejecutamos una serie de búsquedas de prueba y le pedimos a un "evaluador" que califique qué tan buenos son los resultados. Tradicionalmente, esto lo hacían los humanos. Pero los humanos se cansan, son caros y, a veces, no están de acuerdo entre sí. Por eso, los investigadores comenzaron a usar modelos de IA como jueces. La idea era que, si se le da el prompt correcto a la IA, esta puede actuar como un juez humano profesional.

Pero aquí está el truco: la IA es sensible. Si cambias la forma en que haces una pregunta, la respuesta puede cambiar. Este artículo pregunta: ¿Qué sucede si cambiamos la identidad del juez? En lugar de solo pedirle a la IA que "sea un juez", los investigadores le dijeron que "sea un médico", "sea un abogado" o "sea un verificador de hechos escéptico". Querían ver si estas diferentes "máscaras" harían que la IA cambiara de opinión sobre qué resultados de búsqueda eran buenos.

El experimento: Disfrazando a la IA

Los investigadores configuraron un experimento masivo utilizando dos conjuntos diferentes de preguntas de búsqueda (llamados conjuntos de datos). Un conjunto trataba sobre preguntas factuales y cortas (como "¿Quién ganó el Premio Nobel?") y el otro sobre temas complejos y abiertos (como "¿Cómo deberían los maestros manejar las pruebas estatales?").

Tomaron seis modelos de IA diferentes —algunos enormes y potentes, otros más pequeños y ligeros— y les pidieron que juzgaran los resultados de búsqueda. Pero no solo les pidieron que juzgaran; les dieron roles específicos:

El Juez Alineado con la Consulta: Se centró en lo que el usuario quería decir.
El Experto en el Dominio: Se centró en campos específicos como la salud o el derecho.
El Juez Ortogonal: Un "contrario" que miraba las cosas desde un ángulo totalmente diferente.
El Verificador de Evidencia: Un verificador de hechos estricto que exigía pruebas.
El Evaluador Global: Un calificador estándar y profesional.

También probaron dos formas diferentes de crear estos roles: una utilizando descripciones abstractas (como "un padre") y otra utilizando listas detalladas de habilidades (como "una persona con habilidades en desarrollo curricular").

Lo que encontraron: La IA es un anillo de humor, no una roca

Los resultados fueron fascinantes y un tanto sorprendentes. La IA no perdió la cabeza por completo. Cuando cambiaron la persona, la IA no decidió de repente que un resultado terrible era perfecto y un resultado perfecto era terrible. En cambio, los cambios fueron más sutiles, como un anillo de humor cambiando de color.

1. El desplazamiento de la "Estrictez"
La mayoría de las veces, las clasificaciones de la IA se mantuvieron bastante cerca de la línea base estándar. Sin embargo, las personas sí cambiaron qué tan estricta era la IA. Por ejemplo, el personaje de "Verificador de Evidencia" tendía a ser más estricto, dando puntuaciones más bajas a los resultados que no tenían pruebas sólidas. El personaje "Contrario" era más propenso a estar en desacuerdo con la visión estándar. Pero, crucialmente, estos cambios generalmente solo empujaban las puntuaciones hacia arriba o hacia abajo un poco; no causaban un caos total donde toda la lista de ganadores se desordenara.

2. El tamaño importa: Cerebros grandes vs. Cerebros pequeños
Este fue un hallazgo importante. Los modelos de IA más grandes y potentes (como los de 70 mil millones de parámetros) eran muy estables. Sin importar qué "máscara" usaran, mantenían sus clasificaciones mayormente iguales. Eran como un juez sabio y anciano que conoce las reglas y no se deja influenciar por un cambio de vestuario.
Sin embargo, los modelos de IA más pequeños y menos potentes eran mucho más sensibles. Cuando le ponías una máscara de "contrario" a una IA pequeña, esta se confundía y sus clasificaciones saltaban mucho. Esto sugiere que si usas una IA débil para hacer el juicio, los resultados pueden ser poco fiables solo porque le pediste que "actuara" de cierta manera.

3. El "Contrario" es el más disruptivo
Entre todos los roles, el personaje "Ortogonal" (o contrario) causó los mayores cambios en las clasificaciones. Esto tiene sentido: si le dices a una IA que mire las cosas desde un ángulo completamente diferente, va a cambiar de opinión más que si le dices que sea un "experto en el dominio". Los investigadores encontraron que usar un contrario "basado en habilidades" (uno con una lista específica de habilidades) causó aún más movimiento que uno genérico.

4. No se trata de quién es la persona, sino de qué hace
Los investigadores se preguntaron si el origen de la persona importaba. ¿Importaba si la persona provenía de una base de datos de descripciones abstractas o de una base de datos de habilidades profesionales? Encontraron que no importaba mucho. Ya fuera que se le dijera a la IA que fuera un "profesor de sociología" o una "persona con habilidades en desarrollo curricular", el efecto era similar. Lo que más importaba era el rol (por ejemplo, ser un verificador de hechos frente a ser un contrario) y el tamaño del modelo de IA.

Por qué esto es importante

Este artículo no dice que los jueces de IA sean inútiles. De hecho, sugiere que son bastante buenos manteniendo estable la visión general, especialmente los modelos grandes y potentes. Sin embargo, nos advierte que los jueces de IA no son portadores de la verdad absoluta. Sus opiniones pueden verse influenciadas por cómo se enmarca la tarea.

Los autores sugieren que deberíamos usar estos "cambios de persona" como una herramienta de diagnóstico. Piénselo como una prueba de estrés para un puente. Si sacudes el puente un poco (cambias la persona) y este se tambalea demasiado, sabes que el puente (o el sistema de búsqueda) tiene un punto débil. Al ver qué sistemas de búsqueda cambian su clasificación cuando el "humor" de la IA cambia, los investigadores pueden encontrar sistemas que son demasiado sensibles a cómo son evaluados.

En resumen, el artículo nos enseña que, si bien la IA puede ser un gran juez, debemos tener cuidado con el "vestuario" en el que la ponemos. Si queremos resultados fiables, debemos ceñirnos a los modelos más grandes y más inteligentes, y entender que la forma en que le pedimos a la IA que juzgue puede influir sutilmente en el resultado. Es un recordatorio de que, incluso en el mundo de la inteligencia artificial, la perspectiva importa.

Resumen Técnico: El condicionamiento de la personalidad como una sonda de sensibilidad del evaluador para la evaluación de IR basada en LLM

Declaración del Problema

Los modelos de lenguaje de gran tamaño (LLM) se están adoptando cada vez más como evaluadores de relevancia automatizados en la recuperación de información (IR) para abordar las limitaciones de escalabilidad y costo de la evaluación humana. Aunque trabajos previos sugieren que los LLM pueden aproximarse a las preferencias humanas bajo un prompting específico, sus juicios siguen siendo sensibles a la formulación del prompt, el contexto y las señales superficiales. Existe una brecha crítica en la comprensión de cómo las variaciones sistemáticas en la perspectiva del evaluador —específicamente mediante el condicionamiento de la personalidad— afectan las etiquetas de relevancia y los rankings de sistemas posteriores. A diferencia de estudios previos centrados en la optimización de prompts o la descomposición de criterios, este trabajo investiga si variar el "quién" (el rol del evaluador) en lugar del "qué" (los criterios de evaluación) introduce una sensibilidad estructurada o una inestabilidad uniforme en los resultados de la evaluación de IR.

Metodología

El estudio emplea un diseño experimental controlado para tratar el condicionamiento de la personalidad como una sonda diagnóstica de la sensibilidad del evaluador.

Conjuntos de Datos y Modelos:
Los experimentos se realizaron en dos conjuntos de datos de referencia: TREC Deep Learning 2020 (DL20), que presenta consultas factuales cortas, y TREC RAG24, que presenta consultas más largas y abiertas que a menudo requieren contexto explicativo. Se evaluaron seis backbones de LLM, que van desde modelos de alta capacidad (GPT-4o, LLaMA-3.1-70B, Qwen-2.5-72B) hasta de capacidad media (GPT-4o-mini) y variantes más pequeñas (LLaMA-3.1-8B, Qwen-2.5-7B).

Personas del Evaluador:
Se instanciaron cinco roles de evaluador orientados a tareas distintas para perturbar la perspectiva de evaluación:

Alineado con la Consulta (Query-Aligned): Se enfoca en la alineación semántica con la intención inferida del usuario.
Experto en el Dominio (Domain-Expert): Enfatiza la pericia temática dentro de un dominio específico (mapeado mediante una taxonomía de 9 dominios).
Ortogonal (Orthogonal): Introduce una perspectiva contrastiva al desviarse de las interpretaciones dominantes de la consulta.
Verificación de Evidencia (Evidence-Verification): Prioriza la corrección factual y la credibilidad de la fuente, penalizando las afirmaciones no sustentadas.
Evaluador Global (GAP): Actúa como un calificador profesional de calidad de búsqueda aplicando directrices estándar.

Estos roles se instanciaron utilizando dos fuentes de personalidad: PersonaHub (perfiles sintéticos y abstractos) y USPersona (NVIDIA Nemotron-Personas-USA, perfiles profesionales basados en habilidades).

Configuración Experimental:
Para garantizar la escalabilidad y el control, el estudio utilizó juicio basado en resúmenes, donde los documentos se resumieron una sola vez (aproximadamente 80 tokens) y se reutilizaron en todas las condiciones de personalidad. Esto fijó la representación del documento, aislando el efecto de la perspectiva del evaluador. El marco UMBRELA sirvió como la línea base estándar. Las métricas de evaluación incluyeron:

Nivel de Juicio: $\kappa$ de Cohen cuadráticamente ponderado contra UMBRELA y los juicios humanos.
Nivel de Sistema: Tau de Kendall ( $\tau$ ) y el Solapamiento Sesgado por el Rango (RBO) comparando los rankings de sistemas derivados por LLM con los rankings humanos.
Análisis de Sensibilidad: Análisis de desplazamiento de rango localizado ( $\Delta r$ ) para identificar sistemas específicos y tipos de sistemas más afectados por los cambios de personalidad.

Principales Contribuciones y Resultados

1. Sensibilidad Estructurada y Dependiente del Modelo
El estudio revela que el condicionamiento de la personalidad no produce una inestabilidad de evaluación uniforme. En cambio, la sensibilidad es estructurada y depende fuertemente de la capacidad del modelo.

Modelos de Alta Capacidad: Modelos como LLaMA-3.1-70B y Qwen-2.5-72B mantienen una fuerte concordancia con la línea base de UMBRELA y los rankings humanos. El condicionamiento de la personalidad desplaza principalmente la rigurosidad de la evaluación o los umbrales de evidencia en lugar de causar reversiones de relevancia generalizadas.
Modelos de Capacidad Media: GPT-4o-mini exhibe un comportamiento igualmente estable a los modelos de alta capacidad, manteniendo una fuerte concordancia a través de los conjuntos de datos.
Modelos de Baja Capacidad: Los modelos más pequeños (por ejemplo, LLaMA-3.1-8B, Qwen-2.5-7B) exhiben una inestabilidad significativamente mayor, con una menor concordancia con las líneas base y una mayor varianza en los rankings de los sistemas.

2. Efectos a Nivel de Juicio
Los juicios condicionados por personalidad generalmente permanecen cerca de la línea base de UMBRELA. Las diferencias se manifiestan como desplazamientos localizados en:

Rigurosidad de la Evaluación: Algunas personalidades (por ejemplo, Verificación de Evidencia) tienden a ser más estrictas.
Énfasis de Interpretación: Las personalidades ortogonales inducen mayores desviaciones al desafiar las interpretaciones estándar de la consulta.
Acuerdo con Humanos: El condicionamiento de la personalidad no mejora uniformemente el acuerdo con los juicios humanos; en algunos casos (notablemente en GPT-4o sobre RAG24), aleja los juicios de las preferencias humanas.

3. Estabilidad del Ranking de Sistemas
Los rankings globales de los sistemas permanecen relativamente estables para los modelos de alta capacidad a través de los conjuntos de datos. Sin embargo, los desplazamientos de rango locales son significativos para sistemas específicos.

Tipos de Sistema: La sensibilidad se concentra en arquitecturas de recuperación particulares. En DL20, los sistemas de ranking/reranking neuronal basados en transformadores (por ejemplo, bigIR-DCT-T5-F) muestran una alta sensibilidad. En RAG24, los pipelines orientados a la generación y de recuperación aumentada (por ejemplo, iiia_standard_) son los más afectados.
Desplazamiento de Rango: El rol USPersona Ortogonal indujo consistentemente el mayor desplazamiento absoluto medio de rango, actuando como una fuerte sonda de sensibilidad.

4. Fuente de la Personalidad vs. Rol
La fuente de la personalidad (PersonaHub abstracta vs. USPersona basada en habilidades) tiene un efecto secundario comparado con el rol específico del evaluador y la capacidad del modelo. Si bien USPersona a veces amplificó los cambios, los patrones fundamentales de estabilidad fueron impulsados por la instrucción del rol y la capacidad del modelo para adherirse a ella.

Significado e Implicaciones

El artículo posiciona el juicio condicionado por personalidad no como un método para generar "mejores" etiquetas de relevancia, sino como una prueba de estrés diagnóstica controlada para los pipelines de evaluación de IR basados en LLM.

Utilidad Diagnóstica: Al variar sistemáticamente la perspectiva del evaluador, los investigadores pueden identificar los sistemas de recuperación cuyos resultados de evaluación son frágiles y sensibles al encuadre. Esto ayuda a distinguir entre un rendimiento robusto del sistema y los artefactos de una configuración de juicio específica.
Robustez de la Evaluación: Los hallazgos sugieren que, si bien los LLM de alta capacidad proporcionan rankings globales estables, aún pueden ocultar sensibilidades localizadas en tipos de sistemas específicos (por ejemplo, pipelines de RAG).
Guía Metodológica: El estudio advierte contra la dependencia de un juicio de LLM de una sola perspectiva para comparaciones definitivas de sistemas, particularmente cuando se utilizan modelos de baja capacidad. En su lugar, aboga por el uso de la variación de la personalidad para caracterizar la sensibilidad de los resultados de la evaluación, proporcionando así una visión más matizada de la efectividad de la recuperación.

Los autores concluyen que el condicionamiento de la personalidad revela dónde los resultados de la evaluación dependen de las suposiciones del evaluador, ofreciendo un mecanismo para probar la resistencia de los pipelines de evaluación de IR sin requerir anotación humana adicional.