Technische Samenvatting: Een op symmetrie gebaseerd raamwerk voor het meten van LLM-voorkeuren onder conflicterende specificaties

Probleemstelling

Large Language Models (LLM's) opereren steeds vaker in omgevingen waar meerdere contextuele specificaties een taak definiëren. Deze specificaties nemen vaak diverse vormen aan—natuurlijke taalinstructies, formele beperkingen, uitvoerbare tests of input–outputvoorbeelden—en kunnen inconsistent of direct conflicterend zijn. Hoewel eerder onderzoek heeft onderzocht hoe modellen conflicten tussen informatiebronnen detecteren of verzoenen (bijv. in retrieval-augmented generation of fact-checking), ontbreekt het aan controleerbare, toerekenbare methoden om systematisch te analyseren hoe modellen verschillende vormen van taakspecificatie prioriteren wanneer deze incompatibele gedragingen ondersteunen. Specifiek blijft het onduidelijk of LLM's systematische voorkeuren vertonen voor bepaalde representatietypen (bijv. formeel versus natuurlijke taal) en hoe deze voorkeuren variëren over modellen en takengebieden.

Methodologie

De auteurs stellen een op symmetrie gebaseerd experimenteel raamwerk voor, ontworpen om de voorkeuren van modellen onder conflicterende specificaties te meten door het probleem te behandelen als een selectieproces over concurrerende uitvoerbare mappings.

Kernraamwerk

1. Uitvoerbare Mappings: Een taak wordt gedefinieerd door een mapping $f: X \to Y$. Conflicterende specificaties worden geconstrueerd als paren van mappings ($f_1, f_2$) die onderscheidende, toerekenbare outputs produceren voor een discriminerende query $q^\star$ (waarbij $f_1(q^\star) \neq f_2(q^\star)$).
2. Attributie: Omdat elke specificatie een concrete output induceert, kan de respons van het model direct worden toegeschreven aan de ene mapping, de andere, of geen van beide. Dit transformeert een impliciete beslissing in een observeerbare variabele.
3. Symmetrie-gebaseerde Counterbalancing: Om representatievoorkeuren te isoleren van verstorende factoren (zoals de volgorde van presentatie of specifieke inhoudelijke biases), maakt het raamwerk gebruik van symmetrie-volledige configuraties. Voor elke vergelijking tussen representatietypen $A$ en $B$, worden vier proeven gegenereerd per conflictinstantie:
   • $(A(f_1), B(f_2))$, $(B(f_1), A(f_2))$, $(A(f_2), B(f_1))$, $(B(f_2), A(f_1))$.
     Dit ontwerp balanceert de toewijzing van representatietypen aan onderliggende mappings en de volgorde van presentatie, waardoor preferentie-estimatie mogelijk is door aggregatie die niet-doelgerichte factoren marginaliseert.

Experimentele Opzet

Het raamwerk werd geïnstantieerd over drie domeinen:

1. Wiskundige Benchmark: Een gecontroleerde dataset van 550 conflictinstanties over 11 functiefamilies (bijv. algebraïsche, graaf-, matrixoperaties). Vier representatietypen werden vergeleken: Pure Natuurlijke Taal (NL), Formele Taal (Form), Naturalized Formal Language (NatF), en Input–Output Voorbeelden (Ex).
2. Booleaanse Algebra: Conflicten tussen symbolische formules en waarheidstabelen.
3. Codegeneratie: Conflicten tussen natuurlijke taaldocumentatie en uitvoerbare unit tests (afgeleid van de MBPP-dataset).
4. Klinische Regels: Conflicten betreffende renale doseringsdrempels en pediatrische leeftijdindicaties afgeleid van openFDA-labels, waarbij conflicten tussen echte regels en schema-behoudende perturbaties worden getest.

Belangrijkste Resultaten

1. Systematische Representatievoorkeuren (Wiskundige Benchmark)

Over meerdere modellen (inclusief DeepSeek, GPT, en Llama-families) identificeerde de studie een consistente voorkeursvolgorde voor het oplossen van wiskundige conflicten:
$$\text{Formal} \approx \text{Naturalized Formal} > \text{Pure Natural Language} > \text{Input–Output Examples}$$

• Formal vs. Natural Language: Modellen kozen formele specificaties boven pure natuurlijke taal in ~87% van de toerekenbare responsen.
• Formal vs. Examples: De voorkeur voor formele specificaties boven voorbeelden was nog sterker (~93%).
• Naturalized Formal: Ondanks dat ze in natuurlijke taal zijn uitgedrukt, gedroegen naturalized formal specificaties zich vergelijkbaar met pure formele specificaties, wat suggereert dat de aanwezigheid van expliciete wiskundige structuur de dominante factor is, niet de oppervlaktesyntaxis.
• Model Variantie: Hoewel de algemene hiërarchie standhield, varieerde de relatieve sterkte van de voorkeuren. Zo was de voorkeur voor formal boven naturalized formal niet uniform; sommige modellen (bijv. GPT-5-nano) gaven de voorkeur aan naturalized formal, terwijl anderen (bijv. DeepSeek-V4-Flash) de voorkeur gaven aan pure formal.

2. De Rol van Voorbeelden

De concurrentiekracht van input–outputvoorbeelden bleek sterk afhankelijk van de modelcapaciteit en de taakstructuur:

• Capaciteitsafhankelijkheid: Modellen met hogere capaciteit kozen over het algemeen vaker de door voorbeelden ondersteunde mappings dan varianten met een lagere capaciteit.
• Taakafhankelijkheid: Voorbeelden waren het meest competitief tegenover pure natuurlijke taal (selectiepercentages tot ~55% voor sommige modellen) maar aanzienlijk minder competitief tegenover formele of naturalized formal specificaties (selectiepercentages vaak <10%).
• Structuurgevoeligheid: Voorbeelden hadden moeite wanneer de concurrerende specificatie een expliciete wiskundige structuur onthulde, aange omdat de eindige demonstraties onvoldoende waren om de regel te herstellen vergeleken met de expliciete beperkingen van formele notatie.

3. Heterogene Domeinbevindingen

• Booleaanse Algebra: Modellen vertoonden een sterke voorkeur voor compacte, compositionele symbolische representaties (formules en gate netlists) boven uitputtende waarheidstabellen. Echter, de voorkeur tussen formules en gate netlists was modelafhankelijk, wat suggereert dat er geen universele hiërarchie is voor structureel gelijkaardige representaties.
• Codegeneratie: Er werd een scherpe divergentie waargenomen op basis van modelcapaciteit. Modellen met lagere scores gaven over het algemeen de voorkeur aan natuurlijke taaldocumentatie, terwijl hogere scorende modellen sterk de voorkeur gaven aan uitvoerbare tests (tot 97% selectie voor topmodellen).
• Klinische Regels: In klinische settings werd de representatiehiërarchie niet helder overgedragen. In plaats daarvan ontstond een domeinspecifieke bias: modellen kozen consistent voor de striktere regel (52%–87% selectie), ongeacht of die regel de "echte" label of een perturbatie was. Dit geeft aan dat in hoog-risico domeinen veiligheids-/restrictiviteitsbiases de representatievoorkeuren kunnen overstemmen.

4. Robuustheid en Onthouding

• Presentatievolgorde: Hoewel een secundair effect, had de volgorde van presentatie een minimale impact vergeleken met het representatietype, behalve wanneer concurrerende specificaties een vergelijkbare kracht hadden (bijv. Formal vs. Naturalized Formal).
• Onthouding (Abstention): Wanneer expliciet de mogelijkheid werd gegeven om "onzeker" te antwoorden, gebruikten modellen (met name GPT-5-nano) onthouding als een conflictbehandelingsstrategie, met percentages die aanzienlijk varieerden per representatiepaar (bijv. ~64% onthouding voor Formal vs. Naturalized Formal conflicten in GPT-5-nano).

Betekenis en Claims

Het artikel claimt conflictresolutie in LLM's te hebben vastgesteld als een gecontroleerd, uitvoerbaar en op symmetrie gebalanceerd meetprobleem.

• Toerekenbare Meting: Door gebruik te maken van uitvoerbare grondwaarheid en symmetrie-gebaseerde counterbalancing, maakt het raamwerk directe attributie van modeloutputs aan specifieke specificaties mogelijk, waarmee men verder gaat dan kwalitatieve analyse van "hallucinatie" of "verzoening".
• Gestructureerd maar Contextafhankelijk: De resultaten karakteriseren LLM-conflictresolutie niet als willekeurige ruis, maar als een gestructureerd selectieproces. Echter, deze structuur is contextafhankelijk: terwijl een algemene voorkeur voor expliciete structuur bestaat bij wiskundige taken, kan domeinspecifieke factoren (zoals restrictiviteit in klinische regels of testprecisie in codegeneratie) deze voorkeuren herformuleren of overstemmen.
• Verenigd Raamwerk: Het werk biedt een verenigde experimentele aanpak om te analyseren hoe modellen verschillende vormen van specificatie prioriteren, waarbij wordt aangetoond dat deze voorkeuren niet universeel zijn maar systematisch variëren over modellen, taakfamilies en domeinen.

De auteurs concluderen dat het begrijpen van deze impliciete hiërarchieën essentieel is voor het ontwerpen van betrouwbare LLM-gebaseerde systemen, aangezien de "winnaar" in een conflict wordt bepade door een complex samenspel van representatietype, modelcapaciteit en domeinspecifieke beperkingen.