💬 NLP

Controlling Output Rankings in Generative Engines for LLM-based Search

Questo articolo introduce CORE, un metodo di ottimizzazione che aggiunge strategicamente contenuti ai risultati dei motori di ricerca per manipolare le classificazioni di output dei motori generativi basati su LLM, ottenendo elevati tassi di successo nella promozione di prodotti target attraverso molteplici modelli e categorie pur mantenendo la fluidità del contenuto.

Autori originali: Haibo Jin, Ruoxi Chen, Peiyan Zhang, Yifeng Luo, Huimin Zeng, Man Luo, Haohan Wang

Pubblicato 2026-02-04

📖 5 min di lettura🧠 Approfondimento

CC BY 4.0

Autori originali: Haibo Jin, Ruoxi Chen, Peiyan Zhang, Yifeng Luo, Huimin Zeng, Man Luo, Haohan Wang

Articolo originale sotto licenza CC BY 4.0 (http://creativecommons.org/licenses/by/4.0/). ✨ Questa è una spiegazione generata dall'IA dell'articolo qui sotto. Non è stata scritta né approvata dagli autori. Per precisione tecnica, consulta l'articolo originale. Leggi il disclaimer completo

Immagina di entrare in una biblioteca enorme per cercare un libro specifico. Ai vecchi tempi, avresti dovuto scansionare gli scaffali, leggere i dorsi e confrontare i titoli tu stesso. È così che funzionano i motori di ricerca tradizionali: ti forniscono un elenco di link e tu fai il lavoro pesante.

Ma ora, immagina un bibliotecario super intelligente (un'IA) che fa la scansione al posto tuo. Chiedi: "Qual è una buona fotocamera?" e il bibliotecario ti consegna istantaneamente una breve lista di raccomandazioni top. Questo è il nuovo mondo dei Motori Generativi (ricerca basata su LLM).

Il problema? Questo bibliotecario non sta leggendo i libri di persona. Sta guardando un elenco di libri fornito da un sistema diverso (come Amazon o Google), e tende a fidarsi troppo dell'ordine di quell'elenco. Se un piccolo marchio di fotocamere indipendente è sepolto in fondo alla lista del bibliotecario, l'IA probabilmente lo ignorerà, anche se si tratta di un ottimo prodotto. Nel frattempo, i grandi marchi in cima alla lista ricevono tutta l'attenzione.

Questo articolo presenta un metodo chiamato CORE (Controlling Output Rankings in gEnerative Engines) che agisce come un "sussurro magico" per aiutare quei prodotti sepolti a farsi notare.

L'idea Centrale: Come funziona CORE

Pensa al bibliotecario IA come a una scatola nera. Non puoi vedere dentro il suo cervello e non puoi dirgli direttamente: "Ehi, metti questa fotocamera per prima!". Tuttavia, puoi cambiare la descrizione testuale del prodotto che il bibliotecario legge.

CORE è uno strumento che prende un prodotto bloccato in fondo alla lista e riscrive segretamente la sua descrizione per far innamorare il bibliotecario IA. Non sta hackerando il sistema; sta solo ottimizzando la storia che il prodotto racconta.

I ricercatori hanno testato tre diverse "storie" (strategie) per vedere quale funzionasse meglio:

La Storia del "Senza Senso" (basata sulle stringhe): Immagina di cercare di ingannare il bibliotecario scrivendo una descrizione piena di simboli casuali e parole senza senso.
- Risultato: Ha funzionato un po', ma il bibliotecario (e chiunque altro leggesse) poteva capire immediatamente che era falso. È come indossare un naso da clown a un colloquio di lavoro; attira l'attenzione, ma non nel modo giusto.
La Storia dell' "Analista Logico" (basata sul ragionamento): Questa strategia scrive una descrizione che suona come un confronto intelligente e passo dopo passo. Dice cose come: "Ho confrontato questa fotocamera con i marchi leader, ed ecco esattamente perché questa vince su durata della batteria e prezzo".
- Risultato: È stata molto efficace. L'IA ha apprezzato il flusso logico e il prodotto è balzato in alto nelle classifiche.
La Storia del "Cliente Felice" (basata sulle recensioni): Questa strategia scrive la descrizione come se fosse una recensione genuina, al passato, di una persona reale. "Dopo aver acquistato questa fotocamera, l'ho testata contro Sony e Canon, e sono rimasto sbalordito da quanto fosse facile da usare".
* Risultato: È stata la campione. Suonava così naturale e umana che l'IA si è fidata implicitamente di essa. Il prodotto è saltato in cima alla lista quasi ogni volta.

I Benchmark della "Magia"

Per dimostrare che non si trattasse di un caso, i ricercatori hanno costruito una gigantesca cucina di test chiamata ProductBench:

Hanno raccolto 3.000 prodotti (200 in ciascuna delle 15 categorie, dalle fotocamere ai prodotti per animali domestici).
Hanno simulato la richiesta a quattro diversi bibliotecari super intelligenti (GPT-4o, Gemini, Claude e Grok) per ottenere raccomandazioni.
Hanno preso il prodotto che originariamente era classificato ultimo (il 10° elemento) e hanno usato CORE per cercare di spingerlo al posto n. 1.

I Risultati:

Senza CORE, l'ultimo elemento aveva lo 0% di probabilità di arrivare in cima.
Con CORE (specificamente le storie del "Cliente Felice" o dell' "Analista Logico"), l'ultimo elemento è salito al posto n. 1 circa l'80% delle volte.
È addirittura entrato nella Top 3 circa l'86% delle volte.

Perché questo è importante (e perché è complicato)

L'articolo evidenzia una lama a doppio taglio:

Il Bene: Le piccole imprese e i creatori indipendenti, che di solito vengono sepolti nel rumore, hanno ora un modo per farsi sentire. Possono ottimizzare le descrizioni dei loro prodotti per essere "sentiti" dall'IA.
Il Male: Questo significa che il sistema è vulnerabile. Se qualcuno volesse spingere un cattivo prodotto in cima, può usare questi stessi trucchi. I ricercatori hanno cercato di costruire dei "guardiani della sicurezza" (come il controllo di parole strane o testi lunghi) per fermare questo fenomeno, ma la storia del "Cliente Felice" era così naturale che i guardiani non riuscivano a intercettarla.

In sintesi

Questo articolo dimostra che nell'era della ricerca tramite IA, il modo in cui racconti la tua storia conta più del semplice fatto di essere in lista.

Se sei un prodotto, non puoi semplicemente stare in fondo alla fila e sperare che l'IA ti noti. Devi parlare la lingua dell'IA. Riscrivendo la tua descrizione per sembrare un esperto logico o un cliente soddisfatto, puoi ingannare l'IA per spostarti dal fondo della stanza al centro del palco. I ricercatori hanno dimostrato che questo funziona attraverso diversi modelli di IA e tipi di prodotti, ma avvertono anche che dobbiamo capire come impedire alle persone di usare questi trucchi per manipolare il sistema in modo sleale.

Sintesi Tecnica: Controllo delle Classifiche di Output nei Motori Generativi per la Ricerca basata su LLM

1. Definizione del Problema

L'ascesa della ricerca basata su Large Language Model (LLM), o "motori generativi", ha spostato l'interazione dell'utente dalla navigazione di elenchi di link alla ricezione di raccomandazioni di prodotti sintetizzate direttamente. Sebbene ciò migliori l'efficienza dell'utente, introduce una vulnerabilità critica: la classificazione finale dell'output dipende fortemente l'ordine di recupero iniziale fornito dai motori di ricerca esterni (ad es., Google, Amazon).

Questa dipendenza crea un "bias di posizione" dove gli articoli recuperati in fondo alla lista dei candidati vengono raramente promossi in cima al riepilogo finale generato dall'LLM, indipendentemente dalla loro reale pertinenza. Questa dinamica svantaggia le piccole imprese e i creatori indipendenti i cui prodotti potrebbero essere sepolti nei risultati di recupero. I tentativi esistenti per affrontare questo problema, come la Generative Engine Optimization (GEO) o il prompt injection, spesso si affidano all'accesso white-box agli interni del modello o utilizzano attacchi di iniezione incoerenti e facilmente rilevabili. La sfida è controllare le classifiche di output in un setting black-box (dove sono accessibili solo la query e l'output) senza compromettere la fluidità o la naturalezza del contenuto generato.

2. Metodologia: CORE

Gli autori propongono CORE (Controlling Output Rankings in gEnerative Engines), un metodo di ottimizzazione progettato per manipolare la classifica finale di un articolo target modificando il testo associato a tale articolo nei risultati di ricerca. CORE tratta il compito di classificazione come un problema di ottimizzazione in cui l'obiettivo è trovare un testo modificato $T'(i^*)$ per un articolo target $i^*$ che massimizzi la probabilità che esso appaia nelle prime $k$ posizioni dell'output dell'LLM.

CORE offre due soluzioni distinte in base alla disponibilità di risorse computazionali:

A. Soluzione Shadow-Model

Questo approccio presuppone l'accesso a risorse computazionali sufficienti per addestrare un "modello ombra" ( $\theta'$ ) che imiti il comportamento del target LLM ( $\theta$ ).

Meccanismo: Il modello ombra è allineato con il target LLM tramite few-shot prompting. Una volta stabilito, CORE esegue l'ottimizzazione basata sul gradiente direttamente sulla rappresentazione di embedding continua del testo dell'articolo target.
Processo: Aggiorna iterativamente l'embedding per minimizzare la funzione di perdita della classificazione (ranking loss), quindi decodifica l'embedding ottimizzato nuovamente in testo discreto.
Tipi di Contenuto: Questo metodo utilizza principalmente l'ottimizzazione basata su stringhe (string-based), appendendo stringhe strategicamente progettate alla descrizione dell'articolo.

B. Soluzione Basata su Query

Progettata per contesti privi di accesso agli interni del modello o di risorse sufficienti per la modellazione shadow, questa soluzione opera come un ciclo iterativo generatore-ottimizzatore che interagisce con l'LLM black-box.

Generatore: Crea una bozza iniziale (ragionamento o recensione) che spiega perché l'articolo target dovrebbe essere classificato elevatamente.
Ottimizzatore: Valuta la classifica dell'output dell'LLM rispetto alla classifica target desiderata. Se la somiglianza è al di sotto di una soglia, l'ottimizzatore revisiona la bozza.
Strategie:
1. Basata sul ragionamento (Reasoning-based): Costruisce una razionale logica, passo dopo passo (stile Chain-of-Thought), confrontando l'articolo target con le alternative.
2. Basata sulle recensioni (Review-based): Riscrive la bozza come una narrazione di una recensione autentica di un cliente al passato (ad es., "Dopo aver acquistato questo articolo..."), imitando le esperienze reali degli utenti.

3. Benchmark: ProductBench

Per valutare CORE in contesti realistici, gli autori hanno costruito ProductBench, un benchmark su larga scala composto da:

Ambito: 15 categorie di prodotti (ad es., Elettronica, Bellezza, Attrezzi) con 200 prodotti per categoria.
Fonte dei Dati: Le prime 10 raccomandazioni di ricerca recuperate dall'interfaccia di ricerca di Amazon per ogni prodotto.
Struttura: Include attributi strutturati (nome, prezzo, descrizione, recensioni) formattati per l'input in LLM di sintesi.

4. Risultati Sperimentali

Gli autori hanno valutato CORE su quattro LLM abilitati alla ricerca: GPT-4o, Gemini-2.5, Claude-4 e Grok-3.

Promotion Success Rate (PSR): Sotto la migliore strategia di ottimizzazione, CORE ha raggiunto tassi di successo medi di:
- 91,4% nelle prime 5 posizioni (Top-5)
- 86,6% nelle prime 3 posizioni (Top-3)
- 80,3% nella prima posizione (Top-1)
- Nota: I tassi di successo basali per gli articoli partendo dalla fine della lista erano effettivamente pari a 0%.
Efficacia delle Strategie:
- Le strategie basate sul ragionamento hanno performato eccezionalmente bene su GPT-4o e Claude-4.
- Le strategie basate sulle recensioni hanno mostrato una performance superiore su Gemini-2.5 e Grok-3, ed erano particolarmente forti in categorie come "Bellezza e Cura della Persona".
- I metodi basati su stringhe hanno mostrato un successo moderato ma sono stati significativamente meno efficaci delle strategie di ragionamento o di recensione.
Fluidità e Rilevabilità:
- Perplessità: Il contenuto basato su stringhe aveva una perplessità estremamente alta (1.000–2.000), rendendolo facilmente rilevabile. Il contenuto basato sul ragionamento aveva una perplessità moderata, mentre il contenuto basato sulle recensioni rimaneva vicino al baseline (~32), mantenendo un'alta fluidità.
- Valutazione Umana: Il contenuto basato sulle recensioni è stato valutato quasi quanto il baseline in termini di fluidità (4,6/5 rispetto a 4,7/5) e ha avuto un basso tasso di rilevamento (18,4%), mentre il contenuto basato su stringhe è stato quasi universalmente segnalato come innaturale (98,5% di rilevamento).
Confronto: CORE ha superato i metodi esistenti di manipolazione della classifica (STS, TAP, SRP, RAF), in particolare per quanto riguarda la trasferibilità cross-model e la robustezza.

5. Significato e Rivendicazioni

L'articolo sostiene che CORE dimostri la vulnerabilità dei sistemi di ricerca basati su LLM alla manipolazione dei contenuti in contesti black-box. Le rivendicazioni chiave includono:

La Classifica è Manipolabile: La classifica finale dell'output nei motori generativi non è determinata unicamente dal ragionamento interno dell'LLM, ma è fortemente vincolata e manipolabile tramite il contenuto degli articoli recuperati.
Fattibilità Black-Box: Un controllo efficace della classifica è possibile senza l'accesso white-box ai gradienti o agli interni del modello, sfidando l'assunto che i contesti black-box siano sicuri contro tale manipolazione.
Occultamento (Stealthiness): A differenza dei precedenti attacchi di prompt injection, le strategie di CORE basate su Recensioni e Ragionamento mantengono un'alta coerenza semantica e fluidità, rendendole difficili da rilevare tramite filtri di perplessità standard o ispezione umana.
Sfide di Mitigazione: Gli autori hanno testato tre strategie di mitigazione (filtraggio della perplessità, filtraggio basato su pattern e vincoli di lunghezza). Sebbene queste abbiano ridotto il tasso di successo degli attacchi basati su stringhe e ragionamento, sono state ampiamente inefficaci contro la strategia basata sulle recensioni, sottolineando la necessità di meccanismi di difesa più robusti.

Il lavoro conclude che, sebbene CORE fornisca un meccanismo per migliorare la visibilità degli articoli svantaggiati, esso espone simultaneamente un rischio significativo di manipolazione della classifica nei sistemi di ricerca generativa, rendendo necessaria una distribuzione responsabile e un'ulteriore ricerca sulle strategie di difesa.