Judgment-Grounded Expansion for Peer Review Generation

Problema
La generación automática de revisiones es una dirección prometedora para acelerar el progreso científico, sin embargo, la mayoría de los sistemas existentes adoptan una configuración de extremo a extremo que genera revisiones de forma autónoma con poca o ninguna intervención humana. Si bien esto minimiza el esfuerzo humano, limita el control humano durante la creación del contenido y plantea importantes preocupaciones de responsabilidad. Se ha demostrado que las revisiones totalmente automatizadas tienden a homogeneizarse entre diferentes artículos, exhiben fallos de verificación y son susceptibles a la manipulación. Existe la necesidad de equilibrar mejor la automatización con la rendición de cuentas, particularmente en entornos formales como la revisión de conferencias, donde la supervisión humana es crucial.

Metodología
Los autores formalizan la expansión basada en juicios (judgment-grounded expansion), un modo de colaboración humano-IA en el que un revisor proporciona una afirmación evaluativa (un punto clave y su juicio correspondiente) sobre un artículo, y el sistema la expande en uno o varios candidatos de comentarios de revisión fundamentados en el documento enviado.

El proceso se modela como un flujo de trabajo estructurado de generar-verificar-refinar:

1. Entrada Humana: El revisor proporciona una afirmación evaluativa concisa (por ejemplo, "La novedad es una fortaleza").
2. Generación: El sistema genera un conjunto de comentarios candidatos. A diferencia de la predicción de un solo punto, se utiliza la predicción de conjuntos para aumentar la probabilidad de cubrir el comentario pretendido por el revisor.
3. Control de Calidad: El revisor evalúa los candidatos basándose en dos dimensiones:
   • Intención: Relevancia (¿aborda el punto clave?) y Especificidad (¿captura la especificidad pretendida?).
   • Fundamentación: Evidencia (¿está libre de alucinaciones, coincide con la evidencia humana o es suficientemente de apoyo?) y Razonamiento (¿es clara la conexión lógica?).
4. Refinamiento: Si un candidato falla la verificación, el revisor puede refinar la entrada (por ejemplo, aclarando la especificidad o solicitando evidencia alternativa) para activar la regeneración.

Para abordar el desafío de la evaluación escalable (que típicamente requiere la participación costosa de humanos), los autores desarrollan métodos de simulación utilizando dos tipos de proxies para la entrada humana: un proxy basado en ejemplares (usando entradas reales de usuarios como ejemplos de contexto) y un proxy basado en aspectos (usando aspectos del artículo y etiquetas de fortalezas/debilidades). También simulan los controles de calidad utilizando un LLM como juez (LLM-as-a-judge).

Para abordar la curaduría del conjunto de candidatos (equilibrando la necesidad de cobertura frente a la carga cognitiva del revisor), los autores plantean el problema como una tarea de predicción conforme (conformal prediction). Esto permite al sistema generar conjuntos de predicción de tamaño variable con una garantía formal de cobertura de objetivo, expandiendo el conjunto solo cuando el modelo presenta incertidumbre.

Contribuciones Clave

1. Nueva Formulación de Tarea: El artículo formaliza la expansión basada en juicios como un modo específico de colaboración y la modela como un proceso de generar-verificar-refinar, distinguiéndola de la expansión de escritura general al anclar la generación en la propia afirmación evaluativa del revisor.
2. Nuevos Datos de Interacción: Se realizó un estudio de usuario con 6 participantes en 14 artículos, recolectando 8 de 81 instancias de interacción humano-modelo. Este conjunto de datos caracteriza los patrones de entrada del revisor, los comportamientos de control de calidad y la experiencia del usuario.
3. Nuevo Pipeline de Evaluación: Se desarrolla un nuevo método de simulación para permitir una evaluación reproducible y a gran escala de la expansión basada en juicios, permitiendo el análisis de cómo los modelos base y los factores de la tarea afectan la generación.
4. Aplicación de Predicción Conforme: El artículo demuestra que la predicción conforme es muy adecuada para equilibrar el tamaño del conjunto de candidatos y la cobertura del objetivo, ofreciendo una forma fundamentada de gestionar el compromiso entre la cobertura y la carga del revisor.

Result Resultados

• Estudio de Usuario: Se encontró que las entradas concisas (promedio de 17.5 palabras) sustentan una expansión exitosa, con un 72.8% de las interacciones resultando en una aceptación inmediata. Los casos de fallo derivaron frecuentemente de entradas que eran demasiado breves, dubitativas o que hacían referencia a artículos externos. Los participantes reportaron un esfuerzo moderado para corregir las revisiones generadas, pero una alta satisfacción con el resultado final y una fuerte preferencia por la expansión basada en juicios sobre la escritura desde cero.
• Simulación y Evaluación: La evaluación a gran escala comparando la expansión basada en juicios (JGE) con líneas base de extremo a extremo (E2E) mostró que la JGE generalmente se alinea mejor con las revisiones de referencia, particularmente para modelos más grandes y aquellos entrenados con objetivos de razonamiento (por ejemplo, la destilación de DeepSeek-R1). La JGE también demostró una mayor utilidad práctica en términos de precisión técnica y profundidad analítica.
• Robustez: La JGE mostró una robustez adversarial significativamente mayor que la generación E2E. Al ser sometida a ataques de inyección de prompts, la JGE exhibió cambios mucho menores en las predicciones de puntuación, lo que indica que anclar la generación en el juicio del revisor hace que el sistema sea menos susceptible a la manipulación.
• Puntuación de Utilización de Juicio (JUScore): Se introdujo una medida diagnóstica para cuantificar cuánto se beneficia un modelo específico del juicio del revisor. Los resultados indicaron que los modelos con mayor rendimiento de extremo a extremo no necesariamente tienen JUScores altos; por ejemplo, Qwen3-32B mostró las mayores ganancias a partir del juicio del revisor.
• Curaduría de Candidatos: Los experimentos mostaron que la predicción conforme utilizando puntuaciones de no conformidad basadas en el ranking proporcionó un mejor equilibrio entre tamaño y cobertura que el ranking basado en puntuación fija, permitiendo a los profesionales ajustar el sistema para una cobertura más amplia o para reducir la carga cognitiva.

Significancia
El artículo establece la expansión basada en juicios como una tarea concreta y proporciona fundamentos empíricos y metodológicos para el diseño de futuros sistemas de generación de revisiones colaborativas. Argumenta que este enfoque acomoda una necesidad genuina de equilibrar la automatización con la responsabilidad, asegurando que el revisor siga siendo responsable de la postura evaluativa mientras delega el trabajo de expansión al sistema. El trabajo ofrece un estudio sistemático y recursos (datos, métodos de simulación y métricas de evaluación) para avanzar en el desarrollo de la revisión por pares asistida por IA que sea responsable.