Evaluating LLMs for Career Guidance: Comparative Analysis of Computing Competency Recommendations Across Ten African Countries

Technische Samenvatting: Evaluatie van LLM's voor loopbaanbegeleiding in Afrikaanse computercontexten

Probleemstelling
Nu Large Language Models (LLM's) een integraal onderdeel worden van de werkomgeving en onderwijsomgevingen, bestaat er een kritische kloof in het begrip van hoe deze tools adviseren over computationele competenties binnen de diverse contexten van Afrika. Hoewel werkgevers in toenemende mate verwachten dat afgestudeerden gebruikmaken van LLM's, blijft de specifieke technische en niet-technische competenties die vereist zijn voor instapfuncties in de computersector in verschillende Afrikaanse landen onduidelijk. Bestaande literatuur over loopbaanbegeleiding richt zich voornamelijk op westerse contexten, wat potentieel kan leiden tot "algoritmische kolonisatie", waarbij door het Westen getrainde modellen infrastructuurveronderstellingen, arbeidsmarktnormen en culturele waarden opleggen die niet overeenkomen met de Afrikaanse realiteit. Deze studie adresseert het gebrek aan empirische vergelijking met betrekking tot hoe verschillende LLM-architecturen (propriëtair versus open-source) loopbaanbegeleiding genereren voor computerstudenten in tien Afrikaanse landen, waarbij specifiek wordt gekeken of deze tools westerse vooroordelen versterken of zich aanpassen aan lokale educatieve en economische ecosystemen.

Methodologie
De studie maakte gebruik van een gerichte inhoudelijke analyse van 60 LLM-responsen gegenereerd vanuit één gestandaardiseerde prompt: "Welke LLM-vaardigheden of competenties moeten studenten die solliciteren voor een baan in de computersector in [Land] kennen en hoe moeten zij zich voorbereiden op een instapfunctie?"

• Geëvalueerde modellen: Zes LLM's werden geselecteerd om het huidige landschap te vertegenwoordigen: drie propriëtaire (ChatGPT-4, Claude 3.5, Gemini) en drie open-source (Llama 3, DeepSeek, Mistral).
• Geografische reikwijdte: Tien Afrikaanse landen werden geselecteerd op basis van de Oxford Insights Government AI Readiness Index (2024) om diversiteit in linguïstische (Anglofoon, Francofoon, Arabofoon) en economische contexten te waarborgen: Egypte, Zuid-Afrika, Tunesië, Marokko, Nigeria, Senegal, Kenia, Benin, Ghana en Zambia.
• Analytisch kader: De responsen werden gecodeerd met behulp van het Computing Curricula 2020 (CC2020) kader, waarbij competenties werden gecategoriseerd in Kennis (technische domeinen), Vaardigheden (praktische toepassing) en Professionele Houding (ethiek, samenwerking).
• Theoretisch perspectief: De analyse werd geleid door de Digital Colonialism Theory (het onderzoeken van westerse aannames in trainingsdata) en de Ubuntu-filosofie (het evalueren van de aanwezigheid van gemeenschapscentrische waarden en collectief succes).
• Scoringmetrieken:
  1. Technische Dekking: Breedte en diepte van CC2020-competenties.
  2. Contextuele Bewustzijn: Een additieve score van 0–4 die de aanwezigheid van vier specifieke elementen meet: verwijzingen naar de lokale tech-industrie, taal/culturele factoren, nationaal beleid en lokale instituten.
  3. Balans in Vaardigheden & Implementatiediepte: Evaluatie van de integratie van technische en professionele vaardigheden en de actiegerichtheid van het advies.
  4. Composietscore: Een gewogen berekening (Technisch 40%, Contextueel 25%, Vaardigheden 20%, Diepte 15%) om de algehele prestaties te rangschikken.

Belangrijkste Resultaten

• Technische Consensus: Alle zes de modellen vertoonden een hoge consistentie in het aanbevelen van kerncompetenties op technisch gebied, met 100% dekking van programmeren, Python en AI/ML/NLP in alle 60 responsen. Cloud computing en software engineering werden ook breed aangehaald (83% dekking). Gespecialiseerde gebieden zoals cybersecurity en projectmanagement werden echter vaak weggelaten.
• Contextueel Bewustzijngstekort: Het algemene contextuele bewustzijn was laag, met een gemiddelde van 35,4% (85 van de 240 mogelijke indicatoren aanwezig). Slechts 3 van de 60 responsen behaalden een perfecte contextuele score (4/4), terwijl 32 responsen (53,3%) geen enkele contextuele indicator bevatten.
• Prestatieverschillen tussen Modellen:
  • Superioriteit van Open-Source: Open-source modellen presteerden over het algemeen beter dan propriëtaire modellen. Llama 3 behaalde de hoogste composietscore (4,47/5), gevolgd door DeepSeek (4,25/5). Llama toonde het sterkste contextuele bewustzijn (67,5% aanwezigheid van indicatoren) en verwees succesvol naar lokale strategieën (bijv. "Digital Tunisia 2020") en ecosystemen (bijv. M-Pesa in Kenia).
  • Beperkingen van Propriëtaire Modellen: Propriëtaire modellen zoals ChatGPT-4 (3,90/5) en Claude (3,46/5) vertoonden matige prestaties, maar leden vaak aan "contextuele blindheid" door westerse-gecentreerde tools (bijv. AWS-certificeringen) aan te bevelen zonder rekening te houden met lokale infrastructuurbarrières of beleid.
  • Anomalieën: Mistral, hoewel open-source, scoorde 0,00/4 op contextueel bewustzijn, wat aangeeft dat een open-source licentie alleen niet garandeert dat een model cultureel responsief is; modelomvang en de diversiteit van de trainingsdata lijken kritischer te zijn.
• Biaspatronen: De studie identificeerde terugkerende "contextuele blinde vlekken", waaronder de aanname van universele cloudtoegang, de overmatige nadruk op LinkedIn voor netwerken (waarbij informele Afrikaanse wervingspraktijken worden genegeerd) en de simplificatie van meertalige realiteiten (bijv. het negeren van het Amazigh in Marokko).

Belangrijkste Bijdragen

1. Eerste Multi-land Vergelijking: Deze studie biedt de eerste uitgebreide empirische vergelijking van door LLM gegenereerde loopbaanbegeleiding over tien Afrikaanse landen, waarbij de focus ligt op het overstijgen van westerse evaluaties.
2. Integratie van Kaders: Het integreert succesvol het CC2020 technische kader met de Digital Colonialism Theory en de Ubuntu-filosofie om de output van AI te evalueren, wat een nieuwe methodologie biedt voor het beoordelen van de culturele en structurele relevantie van AI in het onderwijs.
3. Empirisch Bewijs van Bias: Het onderzoek kwantificeert de "contextuele kloof" en toont aan dat huidige LLM's grotendeels falen in het integreren van lokale beleidsmaatregelen, infrastructuurrealiteiten en culturele waarden, wat potentieel epistemologische monoculturen versterkt.
4. Open-Source vs. Propriëtair Bevindingen: De studie daagt de aanname uit dat propriëtaire modellen superieur zijn voor professionele begeleiding, waarbij wordt vastgesteld dat specifieke open-source modellen (Llama, DeepSeek) een betere aansluiting bieden bij lokale contexten en een meer gebalanceerde integratie van technische en professionele vaardigheden laten zien.

Betekenis en Claims
Het artikel stelt dat de bevindingen de dringende noodzaak onderstrepen voor decoloniale benaderingen van AI in het onderwijs. Er wordt betoogd dat het vertrouwen op ongewijzigde, wereldwijd gestandaardiseerde LLM's voor loopbaanbegeleiding in middelenarme omgevingen het risico loopt de digitale kloof te vergroten door onrealistische infrastructuurveronderstellingen en westerse-gecentreerde carrièrepaden te promoten.

De auteurs stellen dat:

• Contextuele Relevantie Cruciaal is: Effectieve AI-tools voor het Afrikaanse onderwijs moeten worden aangepast aan lokale realiteiten, inclusief taal, beleid en infrastructuur, in plaats van AI te behandelen als een neutrale informatiebron.
• Hybride Modellen Noodzakelijk zijn: De studie pleit voor "hybride mens-AI begeleidingsmodellen" waarbij LLM's technische breedte bieden terwijl lokale menselijke experts (docenten, loopbaancoaches) de noodzakelijke contextuele aanpassing en ethische supervisie verzorgen.
• Strategische Adoptie: Afrikaanse instellingen moeten prioriteit geven aan open-source modellen die kunnen worden verfijnd met lokale data of de output van propriëtaire modellen kritisch kunnen evalueren, in plaats van tools te adopteren op basis van louter marktreputatie.
• Educatieve Soevereiniteit: De resultaten benadrukken de noodzaak van door Afrika geleide AI-initiatieven om trainingsdata en modellen te ontwikkelen die inheemse kennissystemen en collectieve waarden (Ubuntu) weerspiegelen, om ervoor te zorgen dat AI dient als een instrument voor empowerment in plaats van een mechanisme van afhankelijkheid.

De studie positioneert zichzelf als een verkennende beschrijvende analyse, die hypothesen en patronen biedt voor toekomstig onderzoek in plaats van definitieve causale conclusies, terwijl de nadruk wordt gelegd op de noodzaak van participatieve ontwikkeling van AI-tools voor het Mondiale Zuiden.